课程咨询 :186 8716 1620      qq:2066486918

达内包就业 0元入学

昆明网络营销培训 > 达内新闻 > 淘宝搜索算法现状:线下评估
  • 淘宝搜索算法现状:线下评估

    发布:昆明网络营销培训      来源:达内新闻      时间:2016-09-09

  • 算法模型的评估一般分为线下的评估和线上的评估,线下的评估很多都体现在搜索中常用的相关性(Relevance)指标。相关性的定义可以分为狭义相关性和广义相关性两方面,狭义相关性一般指检索结果和用户查询的相关程度。而从 广义的层面,相关性可以理解为用户查询的综合满意度。当用户在搜索框输入关键词,到需求获得满足,这之间经历的过程越顺畅,越便捷,搜索相关性就越好。

    在淘宝搜索衡量狭义相关性的时候,一般是使用PI(Per Item)测试的方法:

    A.抽取具有代表性的查询关键词,组成一个规模适当的关键词集合

    B.针对这个关键词集合,从模型的产出结果中查询对应的结果,进行人工标注(人工判断为相关性好、中、差等), 对人工评测的结果数据,使用预定义好的评价计算公式比如DCG等,用数值化的方法来评价算法模型的结果和标注的理想结果的接近程度。

    利用人工标注数据来计算相关性的分数,来判断模型的好坏;在这个过程中人工不可避免的会有主观的判断,但综合了多人的判断结果还是可以获得一个有统计意义的结果,另一方面标注数据也可以帮助我们找到一个算法表现不 想的地方,有针对性的提升。

    广义的相关性线下评测比较困难,受人工主观因素的影响更大,一般使用SBS(Side by Side)的评测方法,针对一个关键词,把两个不同算法模型产出的结果同时展示在屏幕上,每次新模型和对比模型展示的位置关系都是随即的,人工判断的时候不知道哪一边的数据是新模型的结果,人工判断那一边的搜索结果好, 最终的统计结果综合来衡量新模型和老模型的搜索表现。

    线下评测的方法和指标有很多,不同的搜索引擎会关注不同的指标,比如以前Yahoo的全网搜索引擎比较关注RCFP(Relevance,Coverage,Freshness,Perspective)等,淘宝搜索线下评测时候一般统计DCG和SBS的指标。

    线下的评测方法从统计上有一定的指导意义,能从一定程度上区分模型的好坏,但要真正验证算法模型的好坏,还需要接受真实的流量来验证。

    推荐文章

上一篇:淘宝搜索算法现状:算法模型

下一篇:淘宝搜索算法现状:线上测试

最新开班日期  |  更多

百度搜索推广综合班

百度搜索推广综合班

开班日期:11/30

SEM搜索引擎推广班

SEM搜索引擎推广班

开班日期:11/30

SEO搜索引擎优化班

SEO搜索引擎优化班

开班日期:11/30

网络营销型网站班

网络营销型网站班

开班日期:11/30

  • 网址:http://km.so.tedu.cn     地址:昆明市五华区五一路如安街如安三号二楼
  • 课程培训电话:186 8716 1620      qq:2066486918     全国服务监督电话:400-827-0010
  • 服务邮箱 ts@tedu.cn
  • 2001-2016 达内国际公司(TARENA INTERNATIONAL,INC.) 版权所有 京ICP证08000853号-56