如何不让百度抓取收录和展现-网络推广专员-专员-网络推广-学习网-SEO

1.概述    在阐明这个问题之前，实在要先大白一个事变：    我们为啥要研究若何节制百度抓取和展示的问题？    缘故原由在于：一个网站有成千上万的网页；并不需要每一个页面都展示给客户；也就是说不需要每一个页面都需要百度去抓取；同时天天百度来抓取我们网站的力度是有限的，我们要保障百度抓取的效率；把一些不干系的，混乱的因素帮百度蜘蛛清算掉；让百度蜘蛛用心抓取我们认为可以或许对访客有效的网页。    日记阐明完之后，相识了今朝蜘蛛爬行的状态，重点就一些列表页，不盼望蜘蛛对它举行爬行,同时有一些列表页已经被索引，要从索引中将这些列表页删除; 下面将阐述若何来处置惩罚这些页面。    2.若何不让蜘蛛爬行和抓取列表页    对于不盼望蜘蛛爬行和索引的列表页，可举行以下处置惩罚:    1．在robots.txt 文件中，将不盼望会见的页面举行Disallow，如下图所示：    对于:User-agent的处置惩罚，使用的是*；是针对全部的搜刮引擎蜘蛛；    在此robots.txt中，颠末持久的日记阐明，已经去除了许多不相关的爬行目的，好比：图片类，样式表类，JS等剧本文件类等；    2．对于详细的产物的供应商列表页，这类页面想索引，可是分页页面不盼望被索引。    这内里的分页部门，对于链接Url举行nofollow，如下图所示：    3．对于图片类的，我不盼望举行索引，并同样通过robots.txt举行节制，如下图所示：    3. 若何将已经索引的列表页从百度索引中删除    1．对于已经收录的列表页，特殊是一些盼望客户会见的产物供应商页的分页列表；可举行noindex，nofollow如下处置惩罚:    2．对于一些今朝已经被百度索引，可是确实已经不存在的页面，可直接编写一个sitemap文件，到百度站长平台举行死链提交；    固然，假如盼望百度继续索引你的网页，可是不在快照中显示，那么我们可以通过在网页中增添meta标签的方式来处置惩罚配置：    这个是针对全部搜刮引擎的；    假如想仅针对百度，可以这么写：        不外一般不发起这么做。    以上是我今朝对于本身网站不让百度收录的一些做法。