搜索引擎的 User-Agent

来源：百度文库 编辑：神马文学网 时间：2024/07/04 21:44:45
在weblog里逮到了一些搜索引擎的爬虫：
首先来得最早的是Google的：Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
接下来是百度的：Baiduspider+(+http://www.baidu.com/search/spider.htm)
再者就是Sogou的：Sogou Orion spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm# 07)
163有道：Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )
腾讯Soso的，比较垃圾吧，几个ip同时抓取，快把我服务器整挂了：Sosospider+(+http://help.soso.com/webspider.htm)
雅虎的，来得比较晚：Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
搜狗还有一个？：Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm# 07)
搜索引擎的 User-Agent 各个搜索引擎的User-Agent Agent技术 pigment dispersing agent dispersing agent for painting loadrunner的running user最多只能1000吗？no！ Students as 'Free Agent Learners' 搜索引擎的惩罚 搜索引擎的命令行 | 维道 下一代搜索引擎的出路？ 繁体版搜索引擎的使用方法 搜索引擎的使用方法 垂直搜索引擎的选型 搜索引擎的迷局 搜索引擎优化的基本要素 第一节 搜索引擎的概念 搜索引擎的其他用法 搜索引擎的分水岭 搜索引擎的使用技巧 十个有用的搜索引擎 著名的FTP搜索引擎 探索搜索引擎的奥秘 奇怪的搜索引擎广告 搜索引擎的分类