网站robots文件怎么优化：完整指南

网站robots文件怎么优化:完整指南

robots文件设置

1、控制网站的根目录下全部文件

2、为了增加内容的可爬取性,不需要在服务器根目录下全部增加子目录,将根目录下所有文件合并在一个文件夹。

3、为了方便蜘蛛的抓取,把网站首页的robots.txt设置成:sitemap.xml/sitemap.txt。

4、为了蜘蛛的顺利爬取,建议不要超过4个文件。

robots中屏蔽

1、全站robots设置:限制在12个文件夹。

2、每个文件的robots.txt设置:限制在2个。

3、为了避免蜘蛛被阻塞抓取,为了避免蜘蛛的抓取受阻,保证蜘蛛的顺畅爬取,控制在2个。

4、为了防止蜘蛛迷路,尽最大可能的去掉不重要的网页。