robots.txt是一个协议。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘 蛛程序在服务器上什么文件是可以被查看的。

主要用于定义允许/禁止哪些搜索引擎蜘蛛的爬取，允许/禁止蜘蛛可以爬取的网站路径，允许/禁止蜘蛛爬取URL 的规则，告诉某些搜索引擎网站地图的URL。
例如：
User-Agent: *
Disallow: /*?*
        通常会有不少网站没有使用robots.txt文件，其实这个也算是优化的一个细节，robots运用得好会是一个很重要 的部分

关键词排名的方法：
1、修改meta标签。
2、网站内容的编辑及链接。
3、在首页增加关键词的密度。
4、友链和外链。

本文链接：http://www.lingle64.com/case/zhiwu/356.html