Discuz教程网

robots禁止了蜘蛛爬行动态URL,怎么还是爬行呢?

[复制链接]
authicon pftlwcbf 发表于 2013-3-9 00:21:19 | 显示全部楼层 |阅读模式
我的论坛 设置了robots禁止爬行动态页面。可是后台查看蜘蛛记录的时候,还是爬行的动态URL,而不是伪静态的。这个是怎么回事啊 ?如下图:
  
   

robots禁止了蜘蛛爬行动态URL,怎么还是爬行呢?

robots禁止了蜘蛛爬行动态URL,怎么还是爬行呢?
   

   


  
  我实在是很郁闷,求大神指点啊!感激不尽!



上一篇:帖子下方这个表百度蜘蛛看不到是吧
下一篇:只能实现部分栏目的帖子 伪静态?
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

1314学习网 ( 浙ICP备10214163号 )

GMT+8, 2025-5-3 19:05

Powered by Discuz! X3.4

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表