一、什么是爬虫蜘蛛?
爬虫蜘蛛又称网络蜘蛛本质是一种代码程序,不是真的蜘蛛,在自动化运行着抓取互联网上面的所有网页的内容,因为我们不可能用人工去爬取界面,所以用代码程序替代人工。
二、批量爬虫
批量爬虫一般具有明显的抓取范围和目标,设置抓取时间的限制、抓取数据量的限制或抓取固定范围内页面的限制等,当爬虫达到预先设定的目标之后,会停止抓取过程。
三、通用爬虫
搜索引擎的主要组成,作用就是将互联网的页面整体地爬取下来之后,保存到本地。
四、发现爬虫
发现爬虫的作用主要是探索新的网站,并且初步分析网站。
五、聚焦爬虫
聚焦爬虫在实施网页抓取时会对内容进行处理筛选,尽量保证只抓取与需求相关的网页信息。
六、垂直型爬虫
垂直型爬虫也可以称之为聚焦爬虫,只对特定主题、特定内容或特定行业的网页进行抓取,一般都会聚焦在某一个限制范围内进行增量型的抓取。
什么是爬虫蜘蛛?爬虫蜘蛛主要有哪些类型
一、什么是爬虫蜘蛛?爬虫蜘蛛又称网络蜘蛛本质是一种代码程序,不是真的蜘蛛,在自动化运行着抓取互联网上面的所有网页的内容,因为我们不可能用人工去爬取界面,所以用代码程序替代人工。...
延伸阅读
本文来自投稿,不代表本人立场,如若转载,请注明出处:http://www.lnbdc.com/article/3541.html