站点地图位置： 告诉蜘蛛程序： 格式的XML 站点地图的位置。
网站地图： 网站地图位置
所有主流搜索引擎都遵循robots文件中的说明。禁止被robots.txt抓取的文件将不会被搜索引擎访问或抓取。但请注意，搜索结果可能会显示禁止机器人文件抓取的URL。只要有指向该URL 的传入链接，搜索引擎就会知道该URL 存在。页面内容不会被抓取，但可能会以以下格式出现在搜索结果中：
仅显示URL，不显示标题或说明。谷歌经常这样做。显示重要目录（例如Open Directory 和Yahoo!）的标题和描述。传入链接的锚文本显示为标题和描述。百度通常会帮你处理这个问题。
如果您根本不希望自己的网址出现在搜索结果中，则应该在页面上使用元机器人标记。
2.元机器人标签
元机器人标签是页面顶部的一种元标签，用于告诉搜索引擎不要索引该页面上的内容。
最简单的元机器人标签格式是：
上述标签的含义是禁止所有搜索引擎索引该页面并禁止其跟踪该页面上的链接。
Google、Bing 和Yahoo 支持的元机器人标签如下。
NOINDEX: 告诉蜘蛛不要索引该页面。 NOFOLLOW: 告诉蜘蛛不要跟踪此页面上的链接。 NOSNIPPET: 告诉搜索引擎不要在搜索结果中显示标题。 NOARCHIVE: 告诉搜索引擎不要显示快照。 NOODP: 告诉搜索引擎不要使用开放目录标题和描述。
根据百度官方的说法，目前只支持NOFOLLOW和NOARCHIVE。
元机器人标签的内容可以写在一起，用逗号分隔，中间有或没有空格。您还可以使用不同的标签编写多个元机器人内容。
与下面：相同
元机器人标签不区分大小写。
仅当禁用索引时，使用元机器人才有意义。标签低于：
没有意义，和不写是一样的。一般情况下，需要被收录、索引以及需要跟踪链接的页面不需要编写meta robots标签。
有时会使用此标签:
因此，该页面的索引将被禁用，但蜘蛛仍然能够跟踪页面上的链接，并且还能够转移权重。
使用noindex 元机器人标签的页面将被抓取，但不会被索引，并且与机器人文件不同，页面的URL 不会出现在搜索结果中。
（未完待续……点击首页查看往期文章）
以上关于#SEO网站结构优化的相关内容来源网（六）仅供参考。相关信息请参见官方公告。
原创文章，作者：CSDN，如若转载，请注明出处：https://www.sudun.com/ask/93886.html
