贵阳小蚊子网络科技有限公司

 /uploads/allimg/190116/1-1Z1161KP30-L.jpg
 /uploads/allimg/190116/1-1Z1161JH20-L.jpg

SEO网站优化:搜索引擎蜘蛛的抓取方式

Time:2019-01-11 Author:焦文
       搜索引擎抓取方式主要分别为:广度优先抓取和深度份先抓取
       广度优先是指:搜索引擎蜘蛛会先抓取起始网页中链接的所有网页,然后选择其中的一个链接网页,继续抓取此网页中链接的所有网页。这是最常用的方法,因为这个方法可以让搜索引擎蜘蛛并行处理,以提高其抓取速度。
       深度优先是指:搜索引擎蜘蛛会从起始页开始,一个链接一个链接跟踪下去, 处理完一条线路之后再转人下一个起始页, 继续跟踪链接。这个方法有个优点是搜索引擎的蛛的设计比较简单。
由于搜索引擎蜘蛛不可能抓取所有的网页,所以有些搜索引擎蜘蛛对一些不太重要的网站设置了访问的层数。
如图:
 
 
搜索引擎蜘蛛抓取方式:A为起始网页,属于第0层,B.C.D.E.F属于第1层,G. H属于第2层,I属于第3层。如果搜索引擎蜘蛛设置的访问层数为2.网页1将不会被访问。这也导致有些网站的一部分网页能够在搜索引擎上搜索到,而另外一部分无法搜索到。对于网站设计者来说,扁平化的网站结构设计有助于搜索引擎抓取其更多的网页。