如何设置让网站禁止被爬虫收录

　　网站建设好了，当然是希望网页被搜索引擎收录的越多越好，但有时候我们也会碰到网站不需要被搜索引擎收录的情况。要启用一个新的域名做镜像网站，主要用于PPC 的推广，这个时候就要想办法屏蔽搜索引擎蜘蛛抓取和索引我们镜像网站的所有网页。因为如果镜像网站也被搜索引擎收录的话，很有可能会影响官网在搜索引擎的权重。

　　以下列举了屏蔽主流搜索引擎爬虫(蜘蛛)抓取/索引/收录网页的几种思路。注意：是整站屏蔽，而且是尽可能的屏蔽掉所有主流搜索引擎的爬虫(蜘蛛)。

　　1、通过 robotstxt 文件屏蔽

　　可以说 robotstxt 文件是最重要的一种渠道(能和搜索引擎建立直接对话)，给出以下建议：

　　Useragent Baiduspider

　　Disallow /

　　Useragent Googlebot

　　Disallow /

　　Useragent GooglebotMobile

　　Disallow /

　　Useragent GooglebotImage

　　Disallow/

　　Useragent MediapartnersGoogle

　　Disallow /

　　Useragent AdsbotGoogle

　　Disallow /

　　UseragentFeedfetcherGoogle

　　Disallow /

　　Useragent Yahoo Slurp

　　Disallow /

　　Useragent Yahoo Slurp China

　　Disallow /

　　Useragent YahooAdCrawler

　　Disallow /

　　Useragent YoudaoBot

　　Disallow /

　　Useragent Sosospider

　　Disallow /

　　Useragent Sogou spider

　　Disallow /

　　Useragent Sogou web spider

　　Disallow /

　　Useragent MSNBot

　　Disallow /

　　Useragent iaarchiver

　　Disallow /

　　Useragent Tomato Bot

　　Disallow /

　　Useragent

　　Disallow /

　　2、通过 meta tag 屏蔽

　　在所有的网页头部文件添加，添加如下语句：

　　：可以抓取本页，也可以顺着本页继续索引别的链接

　　：禁止抓取本页，但可以抓取跟踪本页的其它链接

　　：可以抓取本页，禁止抓取和跟踪本页的其它链接

　　：禁止抓取本页，禁止抓取和跟踪本页的其它链接

　　：禁止搜索引擎建立快照

　　3、通过服务器(如：Linux/nginx )配置文件设置

　　直接过滤 spider/robots 的IP 段。

延伸阅读

• 推广引流方法有哪些，裂变营销什么意思

  推广引流方法有哪些，裂变营销什么意思除了各公域平台，另一个比较重要的引流场景，就是在微信中。一方面做信社交性强，对于身边用友的链接更紧密，微信上也会以群、公众号的形式聚集一群有...

• 小红书引流推广怎么做，小红书引流的最快方法是什么

  做小红书要九浅一深，为什么你的小红书没有流量呢?因为你很有可能被判为营销号，不要以为只有个人号才会判定你为营销号，企业号也会这样子。原因很简单，小红书必竟是一个内容分享平台，是...

• 外贸英文网站建设怎么做？

  1、规划和设计确定网站的目标、目标受众和关键信息。设计网站结构和页面布局，包括主页、产品展示页面、联系方式等。以纺织服装行业为例，考虑到时尚和审美特点，英文网站建设设计风格应该...

• SEO套餐的生产与加工

  任何一件事情都可以独立分割成一个完整的体系，运用程序化和步骤化加工的方法实现快速无限复制和粘贴今天我们就来分解SEO套餐在“流水线”上的生产与加工：一、前端/页编人员二、内容编...

• 2024网络营销怎么做？ai自媒体矩阵助力企业“降本增效”

  在2024年，随着人工智能技术的快速发展，网络营销正在经历着前所未有的变革。企业需要寻找新的营销方式来提高营销效果，降低营销成本。AI自媒体矩阵成为了企业“降本增效”的新选择。...