链接买卖平台如何使我的网页免于被百度索引
百度严格遵守搜索引擎的Robots协议。用户可以配置一个Robots文件来限制网站的全部网页或部分目录下的网页不被百度索引。
若您的网站在已被百度索引后配置Robots文件禁止抓取，那么新的Robots文件通常会在48小时内生效，生效后新网页将不再被编入索引。需要注意的是，robots.txt仅能禁止收录以前百度已索引的内容，从搜索结果中移除可能需要数月时间。
提示：若您的需求迫切要求不被收录，可在反馈中心提出，百度会尽快处理。
如何使百度不收录我的网站如何使百度不收录网站内容
不希望百度收录我的网站怎么办？
可以通过配置站点根目录下的robots.txt文件来限制百度的索引。Robots.txt必须放置在站点的根目录下，文件名必须全部小写。robots.txt文件的格式
用户代理：定义搜索引擎的类型。
不允许：定义禁止被搜索引擎索引的地址。
允许：定义允许被搜索引擎索引的地址。
我们常用的搜索引擎类型包括：
谷歌：谷歌机器人
百度：baiduspider
雅虎：咕嘟
Alexaspider：ia_archiver
Msn：msnbot
Altavista蜘蛛：滑板车
Lycosspider：lycos_spider_(霸王龙)
所有网络蜘蛛：快速网络爬虫
inktomiSpider：slurp
robots.txt文件的编写方法
用户代理：代表各种搜索引擎，是通配符。
不允许：/admin/的定义是禁止对admin目录下的目录进行爬取。
不允许：/require/的定义是禁止对require目录下的目录进行爬取。
不允许：/ABCABC的定义是禁止对ABC整个目录进行爬取。
不允许：/cgi-bin/*。禁止访问/cgi-bin/目录中以“.”开头的所有文件。htm"带后缀的URL（包括子目录）。
不允许：/？禁止访问网站中的所有动态页面。
不允许：/jpg$禁止抓取所有图片。网页上的jpg格式。
不允许：/ab/ADC.html禁止对AB文件夹下adc.html的所有文件进行爬取。
用户代理：代表各种搜索引擎，是通配符。
允许：/cgi-bin/的定义是允许抓取cgi-bin目录下的目录。
允许：/tmp在这里定义为允许爬取tmp的整个目录。
允许：.htm$仅允许访问“”。htm"带后缀的URL。
允许：.gif$允许抓取网页和gif图片。robots.txt文件用法示例
