完全な免責事項、私はプログラマーではありません、私は私が持っているすべての小さな質問のために私の開発者に頼らない方法を学ぶことを試みるSEOです。
現在私の問題はこれです。私は自分のサイトをクロールしてページタイトル、メタ説明、h1、h2などをレイアウトするためにScreaming Frogを使用しているので、変更をより簡単に計画することができます。
先日、私は自分のクライアントと自分の会社のWebサイトについてレポートを作成したいと思い、次のような返事をしました。
だから私はrobots.txtがあなたのサイトにページを作るための方法であることを知っていますが、Googleがそれらをクロールしているわけではありません。私が知らないのは、いくつかのページだけではなく、サイト全体がこのメッセージを受け取る理由です。
誰もがこれを修正する方法について助言を与えることができますかどのようにするかへのリンク "私はこの問題をたくさん手に入れました、そして私が他人を待つ必要がないように自分自身を教育したいのですが。 Google検索コンソールでウェブサイトのインデックスを作成したときにもこれらが表示されます。
どうもありがとう
回答：
回答№1は0私が知らないのは、なぜサイト全体がこのメッセージを ほんのいくつかのページに並んでいました。
あなたのウェブサイトのためのrobots.txtは意図がその内容を索引することであるなら正しく書かれていませんでした。
あるいはScreaming Frogは持っているかもしれませんが、実際にはrobots.txtファイルは正しく書かれています。
あるいは、一部のウェブマスターは、コンテンツがGoogleでインデックスを作成する価値がない、またはボットが帯域幅を使い過ぎると判断しました（アクセスを制限するように選択的ではないため）。
回答№2の場合は0
そのWebサイト上の現在のrobots.txtファイルを確認すると、このコンテンツが表示されます。
User-Agent: *
Disallow:
つまり、そのWebサイトの任意のページが、任意のクローラによってクロールされることを許可されています（ここでは、そのファイルの構文の説明： https://moz.com/learn/seo/robotstxt）
だから現在のファイルはそのエラーを引き起こしてはいけませんOPは言及しています。この質問は2017年6月30日からのもので、robots.txtファイルは2017年7月11日に最後に修正されたものです。