基于网站安全与盈利的因素，站长并不希望某些目录或页面被抓取和收录，比如付费内容、测试阶段的页面及复制内容页面等。

尽管在网站建设的过程中，使用 JavaScript、Flash 链接及Nofollow属性等都能让搜索引擎蜘蛛望而却步，而导致页面不被收录。

但在某些情况下搜索引擎是能够读取他们的，基于网站排名考虑，我们建议慎用 JavaScript、Flash 链接及Nofollow属性屏蔽收录。

强调一下，建站使用 JavaScript、Flash 链接其实是在给网站制造蜘蛛陷阱，致使搜索引擎不能正确判断与抓取页面的主题与文字。

要确保网站某些目录或页面不被收录，需要正确使用 robots 文件或Meta Robots 标签来实现网站的禁止收录机制。

1、robots 文件

搜索引擎蜘蛛访问网站时，会先查看网站根目录下有没有一个命名为 robots.txt 的纯文本文件，它的主要作用是制定搜索引擎抓取或者禁止网站的某些内容。

user-agent：* 适用于所有蜘蛛

Disallow:/upload/

Disallow: .jpg$ 禁止抓取所有.jpg文件

Disallow: *.html 禁止抓取所有html文件

Disallow:/upload/index.html

Disallow 禁止抓取哪些文件或目录，Allow 告诉搜索引擎应该抓取哪些页面，由于不指定就是允许抓取，所以allow单独写没有意义。

2、meta robots标签

Meta robots 标签是页面 head 部分 meta 标签的一种，用于指令搜索引擎禁止索引本页内容。

最简单的 meta robots 标签格式为：

<meta name=”robots” content=”noindex,nofollow”>

效果是禁止所有搜索引擎索引本页面，禁止跟踪本页面上的链接。

<meta name=”robots” content=”noindex”>

效果是禁止索引本页面，但允许蜘蛛跟踪页面上的链接，也可以传递权重。

Google、必应、雅虎支持的标签如下：

Noindex:不要索引本页面

Nofollow:不要跟踪本页面上的链接

Nosnippet:不要在搜索结果中显示摘要文字

Noarchive:不要显示快照

Noodp:不要使用开放目录中的标题和描述

百度支持：Nofollow和Noarchive

只有禁止索引时，使用meta robots才有意义。

使用了 noindex meat robots 标签的页面会被抓取，但不会被索引，页面URL也不会出现在搜索结果中，这一点与 robots 文件不同。

延伸阅读

• 推广引流方法有哪些，裂变营销什么意思

  推广引流方法有哪些，裂变营销什么意思除了各公域平台，另一个比较重要的引流场景，就是在微信中。一方面做信社交性强，对于身边用友的链接更紧密，微信上也会以群、公众号的形式聚集一群有...

• 小红书引流推广怎么做，小红书引流的最快方法是什么

  做小红书要九浅一深，为什么你的小红书没有流量呢?因为你很有可能被判为营销号，不要以为只有个人号才会判定你为营销号，企业号也会这样子。原因很简单，小红书必竟是一个内容分享平台，是...

• 外贸英文网站建设怎么做？

  1、规划和设计确定网站的目标、目标受众和关键信息。设计网站结构和页面布局，包括主页、产品展示页面、联系方式等。以纺织服装行业为例，考虑到时尚和审美特点，英文网站建设设计风格应该...

• SEO套餐的生产与加工

  任何一件事情都可以独立分割成一个完整的体系，运用程序化和步骤化加工的方法实现快速无限复制和粘贴今天我们就来分解SEO套餐在“流水线”上的生产与加工：一、前端/页编人员二、内容编...

• 2024网络营销怎么做？ai自媒体矩阵助力企业“降本增效”

  在2024年，随着人工智能技术的快速发展，网络营销正在经历着前所未有的变革。企业需要寻找新的营销方式来提高营销效果，降低营销成本。AI自媒体矩阵成为了企业“降本增效”的新选择。...