课程咨询 :186 8716 1620      qq:2066486918

达内包就业 0元入学

昆明网络营销培训 > 达内新闻 > 搜索引擎的抓取机制
  • 搜索引擎的抓取机制

    发布:昆明网络营销培训      来源:达内新闻      时间:2016-10-06

  • 今天给大家分享的是搜索引擎的抓取机制,这次都是一些比较重要的资料,分享给大家主要这次是国庆,祝大家节日快乐,感谢一直支持胖子的明白,搜索引擎的抓取机制(调度,爬虫,种子站点,深度优先,广度优先)

    1.收集新出现的网页。最短的时间收集,快速的收集,搜索引擎收集最新的信息给用户。新出现收录减慢的原因是为了清除前几年留下很多的垃圾信息(站点)。

    2.抓取上次修改过后的网页。如果没有修改将不进行任何的分析,学编程的可能清楚,网页数据包有一个头部信息,只要搜索引擎建立一个连接,就会知道最后的修改时间,如果没有变将不进行任何分析。如果改了重新抓取回去再进行分析,重新建立索引。增加快照更新的时间。搜索引擎会过来看头部的信息。

    问题:如果我的网站内容一篇都不更新,想要搜索引擎每天更新我的首页快照,怎么办?

    随机调用,因为搜索引擎每一次来页面的时候,页面内容是不一样的。比如CMS发布一篇文章,首页就会多一个链接,就意味着首页已经改变了。搜索引擎来的时候,页面是不一样的,就会再次抓取,拿回去分析,然后再建立索引。在其中一个版块当中,调用网站内部的随机文章。

    3.检查已经不存在的页面去掉排名甚至删除。

    网速更新速度有好处也有坏处,如果网站更新很快,快照也更新的很快。如果服务器不稳定,蜘蛛就会访问到服务器错误。所以以更新速度来说明一个网站的权重很片面。网站快照更新太快反而不好,比如服务器不稳定的网站。如果想要网页快照快,访问稳定就需要稳定的空间。

    比如淘宝,是不允许蜘蛛抓取的,所以抓取淘宝网站是没有标题也没有摘要的,不允许抓取不到跟抓取不到是一样的,百度为了快照,但数据是空的怎么办,那蜘蛛就会把这个网站使用外链中最多的锚文本过来,来建立快照。

    比如百度搜索SEO,第一页全部都是404,那么对百度是非常不利的,所以打不开,会出现排名下降的时候,所以要碰到排名下降的时候不要着急,过几天再说,查看日志是不是蜘蛛过来抓取不到,访问不了。

    种子站点:从种子站点开始抓取可以抓取到互联网绝大部分的网页,从孤岛站点开始抓则做不到。

    比如我做了一个网站,单页面 一个链接都没有,这就是孤岛页面,因为搜索引擎无法从这个页面上来得到更多的URL,抓取不到互联网的绝大网页。什么样的网站会成为种子站点,就是非孤岛站点的反面例子,一个页面有大量的链接指向各大行业的站点,更新速度快,导出数量比较多,指向网站链接权重高。比如hao123,新浪等就是种子站点,所以我们不要小气自己的友情链接,当你指向重要的网页的时候,就像相关的网页,不作弊的站点,当你是非常有好处。 因为百度对种子站点的更新速度大概是几分钟。因为搜索引擎从这些种子站点开始抓取,向沿着A标签抓取,抓取绝大部分网页。所以抓取你网站60%就行了。

    如果想要抓取快点,就是离种子站点越近的地方留下链接。比如有人跟hao123有交换的话,你就要去跟他交换,你网站抓取的速度更快。

    深度优先:先往深的地方抓取,先抓首页,第一栏目,第一栏目下面的第一个内容,并列的两个内容,再回来抓取第二个栏目。

    深度优先,可以抓取完整的网站数据。获得有价值的文章。

    什么样因素让搜索引擎进行深度优先抓取,提高权重,权重和信息量达到一定的程度,新的网站做不到。

    广度优先:跟深度优化形成一个鲜明的对比。先抓取首页,然后抓取栏目页,然后抓取二级栏目,最后是内容。

    新的网站一般都是先收录首页,不管你的文章页有多少外链,但也是先收录首页。使用广度优先抓取,因为你的首页权重更高。

    这样处理的好处是:优先抓取更加有价值的页面。一个新的网站最有价值是首页。还有就是节省资源和时间。

    蜘蛛怎么分辨栏目页,只管这个页面的权重怎么样。从高到低排上来,先抓取权重最高的。

    http协议:这个里面最重要的是他有一个“应答头”,一个应答体。

    应答头:服务器的信息,页面最新修改的时间,页面大小等,通过抓包软件 http analyzer。

    应答体:网页的源代码。

    Url库:网址库,有两个类型的库,已经抓取和未抓取的数据库。

    调度:公交都有一个调度室。发车时间,发车间隔,控制蜘蛛去抓取。调度有dns缓存数据器,第一次访问你的IP地址缓存回来,保持24个小或是48个小时,下次直接去IP下面抓取。搜索引擎服务器就是直接去映射你的IP地址,提高效率,减少资源。

    网站要是换空间,IP的时候要怎么办,把影响降低到最低。让两个网站畅通48个小时,搜索引擎服务器与域名服务器建立socket一个链接。

    所以说搜索引擎就是一个程序,由调度控制这个程序,就只有一个工作:就是与服务器建立soctet连接,发出一个请求,获取应答头和应答体信息,然后存入数据库,这就是一个蜘蛛。

    域名和IP,一个域名可以多个IP,也可以一个IP。比如百度 也可以一个IP地址对应很多域名,比如虚拟主机。

    域名和一个IP的关系表DNS。

    抓取策略:优先抓取网页权重高的页面。28法则。抓取60%已经正常页面正常。搜索引擎有一个随机抓取机制。

    怎么照顾那么低权重的页面。提高这个页面的权重。

    网页大小限制:是不是太大是不是就不要了,目前百度超过5M大小就放弃。所以基本上没有这种可能。达不到这个上限。

    收集类型:html,pdf,doc可转换为文本的类型文件。

    主要有三个大的领域,首先是搜索引擎原理图详解,二是搜索引擎的抓取机制,二是搜索引擎的预处理,三是搜索引擎的的查询机制,另外一个就是搜索引擎的的一些算法。我们站长解搜索引擎原理,是让大家明白搜索引擎与SEO行为间是一种良性的共生关系,让更多人了解搜索引擎的工作机制,引导广泛合理的SEO行为,这就是百度搜索引擎优化指南专题站创建的初衷。

    推荐文章

上一篇:搜索引擎的预处理机制

下一篇:搜索引擎原理图详解

最新开班日期  |  更多

百度搜索推广综合班

百度搜索推广综合班

开班日期:12/30

SEM搜索引擎推广班

SEM搜索引擎推广班

开班日期:12/30

SEO搜索引擎优化班

SEO搜索引擎优化班

开班日期:12/30

网络营销型网站班

网络营销型网站班

开班日期:12/30

  • 网址:http://km.so.tedu.cn     地址:昆明市五华区五一路如安街如安三号二楼
  • 课程培训电话:186 8716 1620      qq:2066486918     全国服务监督电话:400-827-0010
  • 服务邮箱 ts@tedu.cn
  • 2001-2016 达内国际公司(TARENA INTERNATIONAL,INC.) 版权所有 京ICP证08000853号-56