robots内容详细解读

　　robots.txt是纯文本文件，用于声明网站中不想被蜘蛛抓取的部分，robots不是一个规定,是一种约束

　　蜘蛛访问网站的时候首先查看的是robots：如果存在就按照robots规则抓取、如果不存在蜘蛛就沿着链接直接爬行

　　1.robots作用

　　1.1、防止私密或重要的内容被搜索引擎抓取

　　1.2、节省服务器资源

　　1.3、减少重复抓取，提高网站质量

　　1.4、制定sitemap文件位置

　　2.写法

　　该文件放置在文件的根目录下，并且文件名必须小写：

　　hhttp://www.lnbdc.com/robots.txt

　　3.语法

　　3.1、User-agent:

　　3.1.1、指定哪个搜索引擎蜘蛛：Baiduspider(百度)、Googlebot(谷歌)、Sogouspider(搜狗)

　　3.1.2、*代码所有搜索引擎

　　3.2、Allow:表示允许蜘蛛抓取的栏目或文件

　　3.2.1、Allow:/web/ 表示允许访问web目录

　　3.2.2、Allow:/*.htm$ 表示允许访问html文件

　　3.3、Disallow：禁止抓取栏目或文件

　　Disallow:/web/：禁止抓取web目录

　　Disallow:/*.htm$：禁止抓取html文件

　　Disallow:/ 禁止抓取网站所有内容：

　　/表示根目录

　　4.工具：

　　5.问题

　　5.1、如果搜索引擎已经收录了你的网页，这时候你不想让搜索引擎收录网页 咋办?

　　5.2、robots是不能删除搜索引擎中已经收录的页面

　　5.3、robots meta标签来解决该问题

　　6.robots meta标签：针对具体的页面

　　6.1、语法

　　6.1.1、()：允许搜索引擎抓取页面与页面的链接

　　：不允许搜索引擎抓取页面与允许页面的链接

　　：允许搜索引擎抓取页面与不允许页面的链接

　　()：不允许搜索引擎抓取页面与不允许页面的链接

　　7.解释

　　index：表示搜索引擎可以抓取该页面

　　noindex：表示搜索引擎不可以抓取该页面

　　follow：表示搜索引擎蜘蛛可以爬寻该页面的上的链接

　　nofollow：表示搜索引擎蜘蛛不可以爬寻该页面的上的链接

　　提醒：有些时候也友情链接交换可能会被加上nofollow，大家可以查看一下(避免灰帽)

延伸阅读

• 网站SEO优化全攻略（掌握网站SEO优化技巧）

  网站SEO优化已经成为网站推广不可或缺的一部分，随着互联网的迅速发展。需要我们掌握一定的技巧和方案，但是SEO优化并不是简单的事情。方案，在这篇文章中，链接优化技巧、长尾词优化...

• 如何做好网站SEO优化（SEO思维和SEO技术）

  随着互联网的快速发展，越来越多的企业、个人开始意识到SEO的重要性。但是，在SEO优化中，到底是要注重SEO技术还是SEO思维呢?这是一个值得探讨的话题。本文将对此进行深入分析...

• 铝业网站seo优化怎么做？

  为什么铝业网站需要专注于SEO优化?在数字化时代，铝业公司面临着巨大的在线竞争。但是，许多铝业企业是否真正了解如何通过SEO(搜索引擎优化)提高其网站的在线可见性?在铝业这样一...

• 泸州网站seo优化关键词排名注意事项有哪些?

  泸州网站SEO优化是指通过提高网站在搜索引擎中的排名，获取更多的有价值的流量和更高的曝光率。但是，任何一项SEO优化都需要注意一些关键点，以确保最终结果符合预期。以下是泸州网站...

• 网站SEO优化前，这些工作做好了，网站流量阶梯式上涨

  知识前言：刚开始优化网站的小伙伴别急，我一步步教你如何优化网站，在SEO优化前期，必须做的工作包括网站域名服务器选取上线、明确SEO优化方向、同行网站分析、行业关键词选取、网站...