存档

文章标签 ‘蜘蛛’

屏蔽百度爬虫的方法

2009年4月2日 没有评论

　在百度C2C产品“百度有啊”即将上线的时候，淘宝网站曾经屏蔽百度搜索爬虫，禁止百度搜索引擎抓取淘宝网站的网页内容，淘宝官方的解释是“杜绝不良商家欺诈”。
阅读全文…

分类: 工作生活 标签: , , ,