网络自助新闻发稿平台，价格低，发稿快

南昌网站优化平台|爬行抓取之蜘蛛

所谓的爬行和抓取,是搜索引擎工作的第一步。搜索引擎要向用户提供信息,自己的数据库里面就必须有庞大的数据量。所以,在网络上搜寻有一定质量的内容放入自己数据库是很重要的事情。

搜索引擎用来爬行和访问页面的程序被称为蜘蛛(spider)。

1

robots协议

蜘蛛访问网站页面时,类似用户访问。不同的是,蜘蛛在访问一个网站的时候,都会先访问网站根目录下的robots.txt文件。这个文件是网站和搜索引擎的一个协议,蜘蛛会遵守协议,不抓取被禁止的网址。

2

各搜索引擎蜘蛛

从访问日志当中,可以看到各搜索引擎的蜘蛛命名方式不一样:

Baiduspider百度蜘蛛

360spider 360蜘蛛

熟悉各家蜘蛛的名称,对后期优化中,分析爬行日志有很大作用。

3

爬行原则

蜘蛛爬行有两种原则:广度原则和深度原则。如下图:

深度原则的爬行方式:A-B-D-C-E-F

广度原则的爬行方式:A-B-C-D-E-F

两种方式各有优劣势,分别影响的是爬行网站数量多少和内页内容深度。

从理论上说,不管是深度优先还是广度优先,只要时间够,蜘蛛都能爬整个网络。但是在实际情况下,由于资源、时间的限制,搜索引擎需要一个科学的爬行规则。

所以搜索引擎往往是深度、广度通常是混合使用的,这样既客户照顾尽量多的网站,也能增加网站内页收录。

PS思考:蜘蛛爬行的时候,怎么判断某个网站深度深一点?

                     做网站,做推广,找网络营销产品代理加盟。

南昌网站优化平台|爬行抓取之蜘蛛  品牌营销加推广,精准获客推广媒介星软文平台