如何编写站点地图 和机器人文本

mahmudaakter735

搜索引擎使用称为爬虫的机器人来抓取站点并获取站点信息。 robots.txt是一个主要指示搜索引擎巡逻的文件。爬虫首先加载robotst.txt来检查哪些页面应该被爬行，哪些页面不应该被爬行，并有效地查看您的网站。 两个主要用途是： 控制搜索引擎爬虫对文件或整个目录的访问 它的工作原理是打开文本编辑器并编写以下内容： 请将文件名写入robots.txt并上传到第一层（TOP页面文件所在的位置）。 用户代理：*禁止：/abc/ “User-agent: *”表示“命令任何用户代理的机器人”。 如果您只想命令 Google 的 PC 爬虫，请使用“User-agent: Googlebot”。如果您只想命令 Google 的爬虫进行图像采集，请使用“User-agent: Googlebot-Image”，并仅命令 Google 的移动爬虫. 如果没有，则为“User-agent: Googlebot-Mobile”。

“Disallow:”的意思是“拒绝”，在这里输入你要拒绝抓取的以“/”开头的URL。该内容被 巴拿马手机号码列表 别为部分匹配，因此在上面的示例中，“/abc/”下面的所有内容，即“/abc/”、“/abc/efg/”和“/abc/efg.html”将不再被抓取。 这可能会用于仅限会员的页面等。该网站还配置了 robots.txt，以便感谢页面的 URL 不会被索引。 它被识别为部分匹配，因此如果您想拒绝整个目录，请小心将其写到最后一个“/”。例如，如果只写“/abc”，则除了“/abc/”之外，不会抓取“/abcefg/”。 还有一个名为“Allow:”的命令，其含义与“Disallow:”相反，但很少使用。 使用Disallow：索引被删除后 如果你想删除一个已经被索引的URL，首先通过指定它来确认它不再被索引，然后使用robots.txt会更安全。 这是因为robots.txt中“Disallow”的作用只是拒绝抓取，并不是删除索引。 告诉搜索引擎 sitemap.xml 所在的位置 通过在robots.txt中写入以下内容，可以通知搜索引擎sitemap.xml的位置。




用户代理：*站点地图替换为任意 URL。 可以指定多个此外，Google 对于 sitemap.xml 的位置非常宽松，您甚至可以指定外部域。 尽管我并不真正推荐这样做，因为它没有特殊含义，但 Google 本身为外部域指定了 sitemap.xml。 参考：Google的robots.txt 除了上述之外，使用网站站长工具发送sitemap.xml更为可靠。 顺便说一句，如果您在 robots.txt 中写入错误，索引可能会被删除，因此请务必小心。 ⇒一个关于如果 robots.txt（机器人文本）进入错误状态，索引将如何被删除的可怕故事。 XML 站点地图的作用 XML 站点地图是一个文件，用于向搜索引擎通知您站点上的 URL 和视频信息。 当 Google 等机器人类型的搜索引擎抓取您的网站时，您可以有效地告知它们网站的结构。 虽然安装它不会直接带来更高的排名，但更高效的抓取最终会让你更接近对SEO有利的状态。 如何编写 XML 站点地图 现在，我将向您展示如何正确写入文件。