クローラのためのrobots.txtのAガイド – 利用Googleのロボットtxtが発生
robots.txtのは、ウェブサイトをクロールする方法の手順を含むファイルです。また、ロボット排除プロトコルとして知られており、この規格では、インデックスを必要とする彼らのウェブサイトの一部のボットを伝えるためにサイトで使用されています。また、あなたはこれらのクローラーによって処理を取得したくない領域を指定することができます。そのような地域は、重複したコンテンツが含まれているか、または開発中です。マルウェアの検出器のようなボットは、電子メールの収穫は、この規格に従わないと、あなたの有価証券の弱点をスキャンします、そして、彼らはあなたがインデックス化させたくない領域からあなたのサイトを調べて開始することはかなり可能性があります。
完全なrobots.txtのファイルは、「ユーザーエージェント」が含まれており、手動で書かれている場合、その下に、あなたが「許可する」「許可しない」、「クロール・遅延」などのような他のディレクティブを書くことができ、それは多くの時間がかかる場合がありますし、あなたは一つのファイル内のコマンドの複数行を入力することができます。あなたがページを除外したい場合は、記述する必要があります「のDisallowを：あなたはボットが訪問したくないリンク」も同じことができるように属性のために行きます。あなたはそれはそれは容易ではないのrobots.txtファイルであり、すべてのだと思う場合は、1本の間違ったラインは、物価スライド制キューからページを除外することができます。だから、あなたのためのファイルの私達のrobots.txtの発電機の世話を聞かせて、プロにタスクを残した方が良いです。
SEOにおけるロボットtxtがとは何ですか？
あなたはこの小さなファイルは、あなたのウェブサイトのためのより良いランクのロックを解除するための方法です知っていますか？
検索エンジンのボットが見て最初のファイルは、それが見つからない場合は、クローラがサイトのすべてのページのインデックスしないことに巨大なチャンスがあり、ロボットのtxtファイルです。あなたは少しの命令の助けを借りてより多くのページを追加していますがdirective.Googleは、クロールの予算上で動作不許可のメインページを追加していないことを確認してくださいときに、この小さなファイルは、後で変更することができます。この予算は、クロールの制限に基づいています。クロールの制限は、クローラがウェブサイト上で過ごすことになります時間の数ですが、Googleがサイトをクロールすると、ユーザーエクスペリエンスを振っていることを発見した場合、それは遅くサイトをクロールします。Googleはクモを送信するたびに、それだけであなたのサイトのいくつかのページをチェックし、最新の投稿がインデックスを取得するには時間がかかることをこれが遅く手段。この制限を削除するには、あなたのウェブサイトは、サイトマップやrobots.txtファイルを持っている必要があります。
すべてのボットは、ウェブサイトのクロール見積もりを持っているように、これは同様にワードプレスのウェブサイトのための最高のロボットファイルを持っていることが必要になります。その理由は、それはあなたも私たちのツールを使用して、ファイル、TXT WPロボットを生成することができますインデックス作成は必要ありませんページが多く含まれています。あなたはファイルのtxtロボットを持っていない場合も、クローラはまだインデックスあなたのウェブサイト、それがブログやサイトの場合は、ページの多くを持っていないだろう、1を用意する必要はありません。
Aのrobots.txtファイルのディレクティブの目的
手動でファイルを作成している場合は、ファイルで使用されるガイドラインを認識する必要があります。あなたも、彼らがどのように機能するかを学習した後、それ以降のファイルを変更することができます。
- クロール・ディレイ
このディレクティブはホストを過負荷からのクローラを防ぐために使用され、あまりにも多くの要求が悪いユーザーエクスペリエンスになり、サーバーが過負荷状態にすることができます。クロール遅延は、Yandexのは、さまざまな方法でこのディレクティブを扱い、検索エンジン、ビング、Googleからの異なるボットによって異なって扱われます。Yandexのために、それは連続の訪問の間に待ち時間があり、ビングのために、それはボットは一度だけのサイトを訪問する、とGoogleのために、あなたはボットの訪問を制御するために、検索コンソールを使用することができる時間窓のようなものです。 - 許可
許可ディレクティブは、次のURLの物価スライドを可能にするために使用されています。あなたが特に好きなあなたは、それは、あなたのリストが大きいかもしれませんショッピングサイトです場合、多くのURLとして追加することができます。あなたのサイトがページを持っている場合でも、あなただけはインデックスを取得したくないというロボットファイルを使用しています。 - 禁止
これらのディレクトリは、など、ロボットファイルの主な目的は、上記のリンクを訪問からディレクトリをクローラを拒否することで、しかし、彼らは標準に協力していないため、マルウェアをチェックする必要があり、他のボットによってアクセスされています。
サイトマップとA robots.txtファイルの違い
それは検索エンジンのための有用な情報が含まれていると、サイトマップには、すべてのウェブサイトのために不可欠です。サイトマップは、サイトが提供するコンテンツの種類をあなたのウェブサイトの更新頻度をボットに指示します。その主な動機は、あなたのサイトは、ファイルTXTロボット工学のに対し、クロールするニーズがクローラのためのものであることを持っているすべてのページの検索エンジンに通知することです。これは、ページのクロールにしているではないにクローラに指示します。サイトマップはあなたのサイトには、ロボットのTXTのに対し、インデックスを取得するために必要である（あなたがインデックスを作成する必要がないページを持っていない場合）ではありません。
どのようにGoogleのロボット・ファイル・ジェネレータを使用したロボットを作るには？
ファイルのtxtロボットが作るのは簡単ですが、気付いていない人たちはどのように、彼らは時間を節約するために、次の手順に従ってくださいする必要があります。
- あなたが新規のページ上に着弾した場合には発電機TXTロボット、あなたはオプションのカップルが表示されます、いないすべてのオプションが必須ですが、あなたは慎重に選択する必要があります。最初の行は、すべてのロボットのための、あなたがクロール遅延を維持したい場合は、デフォルト値が含まれています。あなたは下の画像のようにそれらを変更したくない場合は、彼らがそうであるようにそれらを残します：
- 第二列は必ず1を持っており、ロボットのtxtファイルでそれを言及するのを忘れないでください行い、サイトマップについてです。
- あなたは3列目はのモバイル版のためである彼らの物価スライドできるようにするつもりなら、あなたはエンジンのボットをクロールするか、検索したい場合は、この後、あなたが検索エンジンの選択肢のカップルから選ぶことができ、第2のブロックはイメージですウェブサイト。
- 最後のオプションは、ページの領域をインデックスからクローラを制限する許可しない、ためです。ディレクトリやページのアドレスを持つフィールドを充填する前にスラッシュを追加してください。
他の言語： English, русский, 日本語, italiano, français, Português, Español, Deutsche, 中文
