robots文件写法

fZrnzGea · 发表于 2013-5-5 04:54:12

用的dzx2.5，论坛装在子目录/forum 下
robots.txt文件也放在子目录下，但还是有很多页面被收录了。
forum/space-username-SMB1975.html‎
/forum/space-uid-14.html‎
/forum/home.php?mod=space&uid=21&do...‎

forum/?18‎

请问该如何正确写robots.txt文件，现在想修改下。

User-agent: *

User-agent: Sogouspider
Disallow: /
User-agent: Sosospider
Disallow: /
User-agent: Sogou web spider
Disallow: /

Disallow: /*?*
Disallow: /archiver/
Disallow: /api/
Disallow: /data/
Disallow: /source/
Disallow: /install/
Disallow: /template/
Disallow: /config/
Disallow: /uc_client/
Disallow: /uc_server/
Disallow: /static/
Disallow: /admin.php
Disallow: /search.php
Disallow: /member.php
Disallow: /api.php
Disallow: /misc.php
Disallow: /connect.php
Disallow: /forum.php?mod=redirect*
Disallow: /forum.php?mod=post*
Disallow: /home.php?mod=spacecp*
Disallow: /userapp.php?mod=app&*
Disallow: /*?mod=misc*
Disallow: /*?mod=attachment*
Disallow: /*mobile=yes*