[已解决]关于搜索引擎网站的机器人爬走流量问题

迷茫の执着 · 发表于 2012-4-10 14:10:11

百度了一下，发现很多网站都有这样的情况，被这个Unknown robot (identified by 'spider')爬走很多流量，比百度和谷歌多的吓人！

这个是不是会影响到流量呀！看了下百度上的东西，貌似只要在robot.txt中间加点东西，禁止它访问就可以了把！确认一下！

最佳答案

dly

2012-4-10 16:13:26

估计不是正规蜘蛛，不会遵守robots.txt文件

http://task.zhubajie.com/506071/n40o2f0.html

dly · 发表于 2012-4-10 16:13:26

估计不是正规蜘蛛，不会遵守robots.txt文件

http://task.zhubajie.com/506071/n40o2f0.html

迷茫の执着 · 发表于 2012-4-11 20:44:22

dly 发表于 2012-4-10 16:13
估计不是正规蜘蛛，不会遵守robots.txt文件

http://task.zhubajie.com/506071/n40o2f0.html

现在也只能试试这个了，这是郁闷啊，不知道这个是不是服务器上在搞鬼呀！