网站收录特别差？robots文本文件里加入网站地图，站内优化最佳选择！

      网站收录特别差？robots文本文件里加入网站地图，站内优化最佳选择！

      在讨论这个话题之前，我们先来了解一下robots的概念和制作：

      robots文本概念：这个文件主要是给搜索引擎看的，搜索引擎在进入网站时，首先会访问FTP服务器里的robots.txt文本，你需要在文本里设置推荐给搜索引擎看的网页或者目录，以及拒绝搜索引擎收录的网页或者目录（拒绝这一项是我们经常做的）。

      重要的一点：robots文本制作好后，一定是放在FTP的根目录。（类似：http://domain.com/robots.txt）

      下面我们来看一下robots.txt文本的制作：

      1）手工制作（不是很难）：

      1.  User-agent: *（*通配符/代表所有搜索引擎）
           Disallow: /    （否定前缀/不允许）
           Allow: /        （允许）

      2.  User-agent: baiduspider （蜘蛛名称/百度/网站日志查询）
           Disallow: /

           User-agent: googlebot （蜘蛛名称/谷歌/网站日志查询）
           Disallow: /

      3.  User-agent: *  AB
           Allow: /目录1/目录2.html（容许访问目录2中的网页）
           Disallow: /目录1/

      举例：
           User-agent: *  A邀请B来A家去玩
           Disallow: /A/  得罪B
           Allow: /目录1/目录2.html（容许访问目录2中的网页）

      4.  其他解释：

           Disallow: /?* 不要爬行以?开头的页面或者是文件夹
           Disallow: /*?* 不要爬行网站内的动态页面
   

      特别提示：目前百度的算法已经非常精明，不必再为动态、静态的事情犯愁，百度官方指南明确里面，动态和静态页面，都一样收录。

      下面是我们今天要提的重点内容：

      先看一个范例：
      User-agent: *
      Disallow: /目录1/1.html
      Disallow: /目录3/
      Disallow: /目录5/

      Sitemap: /sitemap.xml(推荐地图)
      Sitemap: /sitemap.html(推荐地图)

      将网站地图加入robots.txt文本中，可促进网页更好的收录，试想一下，搜索引擎首先看的是robots.txt文本文件，你把网站地图直接放在里面，让搜索引擎自己去点击，去看，相信比任何激发蜘蛛的方法都要好吧！

      网站收录情况很差，自己分析不出原因，不妨看看robots.txt文本这一项是否设置对了。

2） 利用工具自动创建robots.txt文本文件（非常简单）：

      现在有很多站长工具类网站可以自动创建robots.txt文本，站长只需输入目录或者网页即可在线生成robots.txt文本。

      举例说明：http://tool.chinaz.com/robots/

      不用多说，相信大家已经看到robots文本里加入网站地图的重要性了，至于如何生成，请自行学习，非常简单。

      网站收录特别差？robots文本文件里加入网站地图，站内优化最佳选择！

      文章写到这里，有不懂的可以联系二毛，第一时间为你解答。