robots.txt中的指南爬行 – 使用谷歌机器人TXT发电机
robots.txt的是一个包含关于如何抓取网站的说明文件。它也被称为机器人排除协议，该标准由站点用来告诉其自己的网站的一部分，需要建立索引的机器人。此外，你可以指定你不想得到这些爬虫处理哪些领域; 这些区域包含重复的内容或正在开发中。例如恶意软件检测机器人，电子邮件收割机不遵循这个标准，将会为您扫描出证券的弱点，并有相当大的可能性，他们将开始从你不想被索引的区域检查您的网站。
一个完整的Robots.txt文件中包含“用户代理”，并在其下方，你可以写其他指令，如“允许”，“不允许”，“爬行延时”等，如果手工编写，可能花费了大量的时间，和您可以在一个文件中输入命令的多行。如果要排除一个页面，你将需要写“禁止：链接你不想让机器人访问”同样适用于允许属性。如果你认为这是所有有在robots.txt文件，那么它是不容易的，一个错线可以从指数化队列排除您的网页。所以，最好是任务离开的利弊，让我们的robots.txt生成照顾文件的为您服务。
什么是机器人TXT的搜索引擎优化？
你知道这个小文件是解锁更好排名为您的网站呢？
第一个文件搜索引擎机器人看是机器人的txt文件，如果没有找到它，然后有一个巨大的机会，抓取工具不会索引你的网站的所有页面。这个微小的文件可以以后当你添加更多的页面与小指令的帮助，但要确保你不directive.Google上爬行预算运行不允许添加主页被修改; 这个预算是基于抓取限制。爬网限制的时间抓取的数量将花费在网站上，但如果谷歌发现该抓取您的网站惊天的用户体验，那么它将抓取网站慢。这种较慢的方式，每一个谷歌发送蜘蛛的时候，它只会检查您的网站和最近张贴的几页需要时间来获得索引。要取消这种限制，你的网站需要有一个网站地图和robots.txt文件。
由于每个机器人具有抓取报价网站，这使得它必须有一个WordPress网站最好的机器人文件中。原因是它含有大量的它不需要索引，你甚至可以生成一个WP机器人TXT工具使用文件页面。另外，如果你没有一个机器人txt文件，抓取工具仍将索引你的网站，如果它是一个博客，该网站并没有大量的页面则没有必要有一个。
指令的robots.txt文件的目的
如果您手动创建的文件，然后你需要知道的文件中使用的指导方针。你甚至可以修改文件后学习他们是如何工作之后。
- 抓取延迟
该指令是用来防止爬虫超负荷主机，过多的请求可以重载，这将导致糟糕的用户体验服务器。抓取延迟是由不同的机器人不同的来自搜索引擎，必应，谷歌，Yandex的对待这个指令以不同的方式处理。对于Yandex的是连续访问之间的等待，只为兵，它就像一个时间窗口，在其中机器人将亲临现场只有一次，而对于谷歌，你可以使用搜索控制台来控制机器人的访问。 - 允许
允许指令用于启用以下网址的指数化。只要你想，特别是如果它是一个购物网站，那么你的列表可能会很大，你可以尽可能多的网址添加。不过，只用robots文件，如果你的网站有网页，你不想被索引。 - 禁止
一个robots文件的主要目的是拒绝爬虫从参观提到的链接，目录等这些目录，然而，由谁需要检查是否存在恶意软件，因为它们不符合标准配合其他漫游访问。
差异站点地图和robots.txt文件之间
一个网站地图是所有网站至关重要，因为它包含了搜索引擎的有用信息。一个网站地图告诉你的机器人多久更新网站的内容类型的网站提供什么。其主要动机是为了通知你所有的站点有需要被抓取，而机器人txt文件是爬虫的页面的搜索引擎。它告诉爬虫的页面抓取并哪个不是。一个网站地图是必要的，以便让您的网站索引，而机器人的TXT不是（如果你没有，不是需要做的是索引页）。
如何让机器人使用谷歌机器人文件生成？
机器人txt文件很容易使，但人们谁不知道如何，他们需要按照下面的说明，以节省时间。
- 当您登陆新的页面上的机器人TXT发电机，你会看到几个选项，并不是所有的选项是强制性的，但你需要谨慎选择。第一行包含对所有机器人默认值，如果你想保持爬行延迟。离开他们，因为他们是，如果你不想改变它们如图所示如下图：
- 第二行是有关站点地图，确保你有一个，不要忘记提及它在机器人的TXT文件。
- 在此之后，你可以从一对夫妇的搜索引擎选项中进行选择，如果你希望搜索引擎漫游器抓取与否，第二块是图像，如果你打算让自己的指数化的第三列是的移动版网站。
- 最后一个选项是不允许，在那里你会从索引页面的区域限制爬虫。确保与目录或网页的地址填写前场加斜杠。
其他语言： English, русский, 日本語, italiano, français, Português, Español, Deutsche, 中文
