搜索引擎中的粒度问题
一.前言
传统的搜索引擎的定义,是指一种对于指定的查询(Query),能够返回与之相关的文档集合(Documents)的系统。而百度将这个定义更加丰富化,即搜索引擎能够帮助人们更方便的找到所求。这里的“所求”,比“文档”更加宽泛和丰富,比如一个关于天气的查询,直接返回一个天气预报的窗口,而非一篇关于天气的文档;再如一个关于小游戏的查询,直接返回这个小游戏的Flash页面而非简单的介绍性的文字。
百度对Query深刻的理解,源于自然语言处理技术在其中发挥的巨大作用。对搜索引擎而言,文本切分是最基础也是最重要的自然语言问题之一。今天,我们就来谈谈文本切分粒度与搜索引擎的关系。
本文后续章节组织如下:第二节介绍什么是文本的粒度,第三节讲述搜索引擎的基本原理与文本切分粒度的关系,第四节深入探讨粒度的属性与检索相关性计算,第五节小结。
二.文本粒度
什么是文本的粒度?我们用什么来衡量文本粒度?在回答这些问题前,让我们先看看以下几组词汇:
缠绵、崎岖、葡萄、乒乓
绿茶、篮球、红色、鼠标垫、起重机
打球、跳绳、炒菜、登山
笔记本电脑、高清机顶盒、IP电视
但是、然后、如果、非常
步步惊心、家的n次方、一个人的精彩
百度在线网络技术(北京)有限公司、清华大学
张学友、赵传、工藤新一、里奥内尔·安德雷斯·梅西
……
这几组词汇中,哪些的粒度大,哪些的粒度小?
不管在传统的语言学领域,还是在自然语言处理领域,都没有对粒度下一个清晰准确的定义。但是就搜索引擎而言,我们不妨这样定义:粒度是衡量文本所含信息量的大小。文本含信息量多,粒度就大,反之就小。有了这个原则,我们就很容易判断文本粒度大小了。像“缠绵”,“崎岖”,“葡萄”这些词,虽然有两个字组成,但是仅表达一个意思,这些词的粒度是小的。而“篮球”,“鼠标垫”等词,是由简单词合成的,虽然也只有一个意思,但还可以拆分,如“篮”和“球”,“鼠标”和“垫”。这类词,粒度稍微大一些。而“笔记本电脑”,“高清机顶盒”这样的词,粒度就更大了。
专名是一类比较特殊的词,尽管所含字数很多,但其实只表达一个意思,如“步步惊心”,“家的n次方”这样的电影、电视剧的名称,粒度是很小的。机构名、人名等属于有内部结构的专名,比电影名的粒度稍大一些。
显然易见,我们在讨论文本粒度时,理想的方式是从语义角度出发,合理的分析和判断。然而以上我们仅对粒度做了定性的分析,为粒度找一个合适的度量单位和计算方法,是百度人一直追求的目标。
三.搜索引擎的基本原理与词汇切分关系
3.1 搜索引擎的基本原理
文本检索系统,是搜索引擎最简单的实现方式。通过返回包含关键字的页面,来满足用户的检索需求。形式化的表达就是给定一系列关键字集合K,要求返回所有包含关键字的文档D,对D中的任意一个文档d,包含K中的任意一个关键字k。
一般我们采用倒排索引的方式来实现这个系统。所谓倒排索引,就是对关键字建立索引,记录包含这个关键字的文档集合D。对于请求的关键字集合,找出所有关键字对应的索引,并对索引求交,最后返回同时存在于所有索引中的文档。
在百度,我们不仅允许用户输入关键字,也可以输入任何长度在一定范围内的文本。此时我们需要对文本做一定处理,切分成一系列关键字,从而能够从倒排索引中找出对应的文档。
那么为什么要对输入文本做切分,如果不切分会有什么问题?
我们可以想象一下,如果不对输入文本做切分,直接用输入文本去做匹配,会怎么样?首先,得到的结果会非常少,因为直接用全部文本匹配,就失去了灵活性,对结果限制的非常死,必须完全匹配才能满足要求;其次,系统性能会非常差,因为需要对所有长度的文本都建立索引,这是指数级的,在实际系统中根本不可能实现。再考虑一下另一个极端?我们对输入文本做单字切分,结果又是怎样?我们会得到大量无关的页面,不仅浪费系统性能,对相关性计算也造成了巨大的压力。
所以,我们需要对文本做一个合适的切分。
发表评论
西安录音室
回复你俩看起来真般配,月老的垃圾分类,做的还挺到位。
西安短租公寓
回复偷一个人的主意是剽窃,偷很多人的主意是研究。
西安文理学院论坛
回复当你觉得自己不行的时候,就走马路上走走,这样你就是一个行人了。
西安育儿嫂
回复现在的年轻人,除了睡觉时间不想睡,其它时间都想睡觉。
西安大明宫派出所
回复平时骂你就算了,非要等我打你,才知道我文武双全。
西安地税局网站
回复春节假期要结束了,该收收心,准备过五一了。
西安高职院校
回复只要是石头,到哪里都不会发光。
西安交大博通
回复以后要对女朋友好一点,毕竟她已经瞎了,不能再受伤害了。
西安青年公寓
回复一路上有你,苦一点也愿意,苦很多免谈。
西安回收公司
回复给你的梦想插上翅膀,虽然不一定飞得很远,但肯定摔得很重。
西安大金空调
回复谁说你没有真爱,烦恼与你同在。
西安妇产科医院
回复你知道投资和投机的区别吗?一个是普通话,一个是广东话。
西安火车票预定
回复没有什么过不去,只是再也回不去。
西安行知中学贴吧
回复我本想享受生活,结果发现活下来都很困难。
西安seo专员
回复好好过日子吧,每天都会有新打击。
西安警察
回复只要你每天坚持学习,最终胜利肯定是属于,在考场上发挥好的人。
西安公交网查询
回复到不了的都叫做远方,回不去的名字叫家乡。
西安悦华
回复这一秒不放弃,下一秒,就更绝望了。
西安兵马俑导游词
回复上班如上坟,别侮辱坟,上坟还有思念和敬畏之情呢。
西安建筑科技大学研究生学院
回复我发现我挺能哄女孩睡觉的,只要我一发信息,女孩就说我要睡觉了。
西安小肥羊
回复在知识的海洋里,你竟然是一条淡水鱼。
西安家居
回复你从来不孤独,因为,孤独都不想跟你交朋友。
西安快捷酒店
回复春节假期要结束了,该收收心,准备过五一了。
西安k630
回复当你觉得又丑又穷的时候,不要悲伤,至少你的判断还是正确的。
西安爱德华
回复暗恋就是你在心里,为他盖了一座城堡,他却连门都不想进。
西安市工商局网站
回复生命中必然要放弃某些人,不是你不在乎,是他们不在乎。