Robots.txt Ein Leitfaden für Crawlers – Verwenden Sie Google Robots Txt Generator
Robots.txt ist eine Datei, enthält Anweisungen, wie eine Website zu kriechen. Es wird auch als Robots-Exclusion-Protokoll bekannt ist, und dieser Standard von Websites verwendet wird, die Bots zu erzählen, die einen Teil ihrer Website Indizierung muss. Außerdem können Sie angeben, welche Bereiche Sie nicht von diesen Crawler verarbeitet werden wollen; solche Bereiche enthalten doppelte Inhalte oder sind in Entwicklung. Bots wie Malware-Detektoren, E-Mail Harvester folgt diesem Standard nicht und wird für Schwächen in Ihren Wertpapiere scannen, und es besteht eine erhebliche Wahrscheinlichkeit, dass sie beginnen, Ihre Website aus den Bereichen Prüfung Sie wollen nicht indiziert werden.
Eine vollständige Robots.txt-Datei enthält „User-Agenten“, und darunter, können Sie andere Richtlinien wie „Zulassen“, „nicht zulassen“, „Crawl-Delay“ usw. schreiben, wenn geschrieben manuell eine Menge Zeit in Anspruch nehmen könnte, und können Sie mehrere Zeilen von Befehlen in einer Datei eingeben. Wenn Sie eine Seite ausschließen möchten, müssen Sie schreiben „Disallow: der Link nicht möchten, dass die Bots besuchen“ Gleiches gilt für das damit Attribut. Wenn Sie denken, das ist alles in der robots.txt-Datei gibt es dann ist es nicht einfach, eine falsche Zeile Ihrer Seite aus Indexierungswarteschlange ausschließen. So ist es besser, die Aufgabe zu den Profis zu verlassen, lassen Sie unsere Robots.txt-Generator kümmern sich um die Datei für Sie.
Was ist Roboter-Txt in SEO?
Wissen Sie, diese kleine Datei, ein Weg ist besser Rang für Ihre Website zu entsperren?
Die erste Datei Suchmaschinen-Bots Blick auf die TXT-Datei des Roboters ist, wenn es nicht gefunden wird, dann gibt es eine massive Chance, dass Crawler nicht Index alle Seiten Ihrer Website. Diese kleine Datei kann später geändert werden, wenn Sie weitere Seiten mit Hilfe von kleinen Anweisungen hinzufügen, aber sicher, dass Sie die Hauptseite in der disallow nicht fügen Sie directive.Google auf einem Crawl-Budget läuft; Dieses Budget wird auf einer Crawl-Begrenzung basiert. Die Crawl-Grenze ist die Anzahl der Zeit Crawler auf einer Website verbringen, aber wenn Google das Crawling findet heraus, Ihre Website die User Experience wackelt, dann wird es die Seite langsamer kriechen. Diese langsamer bedeutet, dass jedes Mal, Google sendet Spinne, es dauert nur ein paar Seiten Ihrer Website überprüfen und Ihren neuesten Beitrag wird einige Zeit dauern, um indiziert. So entfernen Sie diese Einschränkung, muss Ihre Website eine Sitemap und eine robots.txt-Datei.
Da jeder Bot Crawl Angebot für eine Website hat, macht dies es notwendig, auch eine Best Roboter-Datei für eine WordPress-Website zu haben. Der Grund dafür ist es eine Menge Seiten enthält, die Sie nicht benötigen Indizierung kann sogar ein WP Roboter txt-Datei mit unseren Tools generieren. Auch, wenn Sie nicht über einen Robotik txt-Datei, Crawler noch indiziert Ihre Website, wenn es ein Blog ist und die Website hat nicht viele Seiten dann ist es nicht notwendig, einen zu haben.
Der Zweck der Richtlinien in einer robots.txt-Datei
Wenn Sie die Datei manuell erstellen, dann müssen Sie in der Datei verwendeten bewusst die Richtlinien sein. Sie können auch die Datei ändern später nach dem Lernen, wie sie funktionieren.
- Crawl-Verzögerung
Diese Direktive wird benutzt Crawlern zu verhindern , dass der Host – Überlastung, zu viele Anfragen können den Server überlasten , die in schlechten Benutzererfahrung führen. Crawl-Verzögerung wird anders durch verschiedene Bots von Suchmaschinen behandelt, Bing, Google, Yandex , diese Richtlinie auf unterschiedliche Weise behandeln. Für Yandex ist es eine Wartezeit zwischen aufeinander folgenden Besuchen, für Bing, ist es wie ein Zeitfenster , in dem der Bot nur einmal die Website besuchen, und für Google, können Sie die Suche Konsole die Besuche des Bots zu steuern. - Zulassen
Zulassen Direktive wird benutzt , Indexierung der folgenden URL zu ermöglichen. Sie können beliebig viele URLs hinzufügen , wie Sie wollen vor allem , wenn es eine Shopping – Site dann Ihre Liste groß werden könnte. Trotzdem verwenden nur die Roboter – Datei , wenn Ihre Website – Seiten hat , dass Sie nicht indiziert werden wollen. - Verbieten
Der primäre Zweck eines Roboter – Datei ist auf Müll Crawler aus den genannten Links besuchen, Verzeichnisse, usw. Diese Verzeichnisse werden jedoch von anderen Bots zugegriffen , die müssen auf Malware überprüfen , weil sie nicht mit dem Standard kooperieren.
Unterschied zwischen einer Sitemap und eine robots.txt-Datei
Eine Sitemap ist von entscheidender Bedeutung für alle Websites, wie es nützliche Informationen für Suchmaschinen enthält. Eine Sitemap sagt Bots, wie oft Sie Ihre Website aktualisieren, welche Art von Inhalt Ihrer Website zur Verfügung stellt. Sein Hauptmotiv ist die Suchmaschinen aller Seiten Ihrer Website zu benachrichtigen, dass der Bedarf während der Robotik gecrawlt werden TXT-Datei für Crawler ist. Es erzählt Crawler, welche Seite zu kriechen und das nicht zu. Eine Sitemap ist notwendig, um Ihre Website während txt Roboter indiziert werden nicht (wenn Sie Seiten nicht, die indiziert nicht brauchen werden).
Wie Roboter machen Durch die Verwendung von Google Robots File Generator?
Robots txt-Datei ist einfach, aber die Leute zu machen, die nicht bewusst sind, wie man sie müssen die folgenden Anweisungen befolgen, um Zeit zu sparen.
- Wenn Sie auf der Seite von New gelandet Roboter txt – Generator , werden Sie ein paar Optionen sehen, nicht alle Optionen sind obligatorisch, aber Sie müssen sorgfältig wählen. Die erste Zeile enthält, standardmäßig für alle Roboter – Werte , und wenn Sie einen Crawl-delay behalten möchten. Lassen Sie sie , wie sie sind , wenn Sie nicht wollen , sie ändern , wie in der folgenden Abbildung dargestellt:
- Die zweite Reihe ist über Sitemap, stellen Sie sicher, Sie einen haben, und vergessen Sie nicht, es in den Roboter txt-Datei zu erwähnen.
- Danach wird man von ein paar Optionen für die Suchmaschinen können wählen, ob Sie Motoren Bots suchen, um zu kriechen wollen oder nicht, ist der zweite Block für Bilder, wenn Sie gehen, um ihre Indexierung die dritte Spalte ist für die mobile Version des ermöglichen Webseite.
- Die letzte Option ist für Ungültigkeit, wo Sie die Crawler von der Indizierung der Bereiche der Seite beschränken wird. Achten Sie darauf, den Schrägstrich hinzufügen, bevor das Feld mit der Adresse des Verzeichnisses oder der Seite zu füllen.
Andere Sprachen: English, русский, 日本語, italiano, français, Português, Español, Deutsche, 中文
