很有用的文章,之前我的站点(www.juzishule.com)的日志里每天凌晨就会有很多奇怪的 IP 来不停的访问,我也搞不清是什么(我加入站长队伍不到半个月,嘿嘿),用了你的方法之后发现大都是搜索引擎的,soso 的最多,每天三四百,google 每天 两三百,百度一百多... 这下子安心了,吓得我还以为遭了攻击!
我们查看IIS日志的时候会看到百度蜘蛛:Baiduspider+(+http://www.baidu.com/search/spider.htm)来爬行我们的网页,但是我们怎么判断爬行我们网站的是不是真正的百度蜘蛛呢。如果你用的是Windows操作系统那么可以用Windows自带的命令行命令tracert来判断是否只真正的百度蜘蛛。
查看Baiduspider的IP,然后点击开始运行,输入cmd,打开命令行,然后输入tracert 61.135.186.12,这里61.135.186.12代表网站日志里的Baiduspider的IP,那么可以看到如下的内容:
如果里面有crawl.baidu.com的内容,那么说明就是真正的百度蜘蛛,如假包换。
上面这个截图里面含有ad,(baiduspider-ad-61-135-186-12.crawl.baidu.com [61.135.186.12]),那么应该是百度联盟的蜘蛛用来抓取页面里的内容以便匹配广告用的。
下一篇:搜狗Sogou终于“出狱”……
上一篇:搜狗蜘蛛(Sogou web spider)难道恢复对本站的抓取吗?
- 相关文章 -
IIS 使用 web.config 实现从 http 自动301跳转到 https 的方法 - 2017-12-29
IIS 7.0 / IIS 7.5 用 web.config 做域名的301跳转的方法 - 2017-12-29
2017最新淘宝天猫直通车优化策略 - 2017-11-09
2017年最新工信部核查网站备案信息电话 - 2017-11-07
ZAC的《SEO实战密码》 - 2011-06-17
如何查看百度蜘蛛何时访问自己的网站 - 2010-07-19
IIS7伪静态化URL Rewrite模块 - 2011-05-30
直通车的5种玩法,想要如何开好直通车,了解一下吧 - 2017-03-13
- 文章评论 -
- 最新评论[2条评论] -
很有用的文章,之前我的站点(www.juzishule.com)的日志里每天凌晨就会有很多奇怪的 IP 来不停的访问,我也搞不清是什么(我加入站长队伍不到半个月,嘿嘿),用了你的方法之后发现大都是搜索引擎的,soso 的最多,每天三四百,google 每天 两三百,百度一百多... 这下子安心了,吓得我还以为遭了攻击!
不错!!!
版权所有©逍遥峡谷 - 星际中心超自然局 · 地球总部 |
逍遥峡谷 ·
酷品优选
Copyright©Interstellar Central Occult Agency (I.C.O.A)
本局纯属虚构,如有雷同,纯属巧合