Robots.txt 文件应放在哪里?

摘 要

  Robots.txt 文件必须放在网站的根目录。放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。 例子: http://www.xxxx.com/robots.txt 有效 http://www.xxxx.com/bbs/robots.txt 无效 如果

  

  Robots.txt 文件必须放在网站的根目录。放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。

  例子:

  http://www.xxxx.com/robots.txt 有效

  http://www.xxxx.com/bbs/robots.txt 无效

  如果你不能控制根目录的 robots.txt,则你可以通过在子目录网页中使用标签阻止网页被收录。

  • 72
    A+
发布日期:2019年10月07日  所属分类: Seo问答