神马文学网常用搜索引擎蜘蛛标记列表整理 - Qzone日志
来源：百度文库 编辑：神马文学网 时间：2024/10/01 13:02:49
常用搜索引擎蜘蛛标记列表整理
- 复制地址
请用Ctrl+C复制后贴给好友。
- 转载
- 分享
小菜鸟 2010年09月05日 07:26 阅读(0) 评论(0) 分类：个人日记
- 举报
- 字体：大▼
- 小
- 中
- 大
2010-07-27 20:28
$bot = array(
"1"=>array(
"agent"=>"Baiduspider+(+http://www.baidu.com/search/spider.htm)",
"referer"=>"http://www.baidu.com",
"ip"=>"123.125.66.79",
),
"2"=>array(
"agent"=>"Googlebot/2.1; +http://www.google.com/bot.html",
"referer"=>"http://www.google.com",
"ip"=>"202.208.60.198",
),
"3"=>array(
"agent"=>"Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html",
"referer"=>"http://www.yahoo.cn",
"ip"=>"202.160.178.131",
),
"4"=>array(
"agent"=>"Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)",
"referer"=>"http://www.sogou.com",
"ip"=>"220.181.19.91",
),
"5"=>array(
"agent"=>"Sosospider+(+http://help.soso.com/webspider.htm)",
"referer"=>"http://www.soso.com",
"ip"=>"124.115.0.18",
)
);