外贸网络营销博客

 如何判断Baiduspider的真假?

于 2011-12-9 10:12:35 发表  信息安全管理  浏览( )  评论( )  收藏这篇日志

 

百度蜘蛛,目前中文互联网上有少量spider冒充Baiduspider抓取网页,周六madcon会上,发现很多同学不知道如何判断Baiduspider的真假,再次说明一下:

中文互联网上,Baiduspider ip的hostname以 *.baidu.com的格式命名,非 *.baidu.com即为冒充,建议您使用DNS反查方式来确定抓取来源的ip是否属于百度。

例如,在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。
$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer
baiduspider-123-125-66-120.crawl.baidu.com.

在windows平台下,可以用nslookup命令反解ip来判断是否来自Baiduspider的抓取。

点击“开始”-“运行”-“cmd”-“输入nslookup IP地址”-“回车”
C:\Documents and Settings\wangtao>nslookup 123.125.66.120

Name: baiduspider-123-125-66-120.crawl.baidu.com
Address: 123.125.66.120

详请参考:
http://www.baidu.com/search/spider_chinese.html

 

 

 

正在读取日志的评论数据,请稍后...
正在加载日志评论的签写框,请稍后...
BLOG 日历助手
正在载入日历助手...
BLOG 统计信息
正在载入统计信息...
BLOG 分类列表
BLOG 最新评论
正在载入最新评论...
BLOG 最新留言
正在载入最新留言...
BLOG 站内搜索

BLOG 友情链接申请链接
正在载入友情链接...