详解搜索引擎的中文分词技术

　　今天北京SEO为大家举个例子来详细的阐述下中文分词技术。首先我们看下下面这个句子“第一页北京SEO排名优化服务技术可靠吗？”

　　当搜索引擎(以后一律简称SE)读到上面这句话的时候会进行第一次切词，结果如下：第、一、页、北、京、s、e、o、排、名、优、化、服、务、技、术、可、靠、吗

　　注意上面是16个中文汉字和3个英文字母，这种切词就是简单的单字法。当然搜索引擎不是傻瓜，不会只利用这么一种简单的分词方法。

　　接着，搜索引擎进行二分法分词，结果如下：第一、一页、页北、北京、京s、se、eo、o排、排名、名优、优化、化服、服务、务技、技术、术可、可靠、靠吗

　　这只是第二次分词，接着会有三分法分词和四分法分词。

　　或许有SEO要问，这样分出来的词搜索引擎有什么用？不着急，我们还没讲到下面。

　　其次，SE针对这些词进行筛选，怎样筛选呢？我们都知道中文的很多词，像“的”“了”“啊”“吗”“在”等几乎每篇文章都会用到，这些词要是SE全部收录的话，那估计数据库早就放不下了，因为百度目前收录的16亿网页几乎每个网页都有这些词，这么浩大的工程，SE肯定忙不过来，即使忙过来，也很少有人去搜索“啊”这样无意义的关键词。所以SE将这些词定义为停止关键词，也就是英文里面提到的“stop word”。只要是停止关键词都会被删除的。

　　或许又有SEO开始提问了，那么“页北”这样的关键词难道也被分成一个词？不要着急，下面还有更精彩的。忽略掉停止关键词后，剩下的关键词开始跟SE的词库进行匹配，原始的词库可能只有辞海那些基础的关键词，但是随着互联网的发展新词的产生，SE的词库远远大于辞海。后面会详细解释。

　　这样像“第一页”、“北京”、“排名”、“优化”、“服务”、“技术”、“可靠”等我们自己都知道肯定属于辞海的关键词，肯定也属于SE的词库。

　　这里有些SEO开始问，那么像“SEO”这样的词SE是怎样判断的呢？如果大家去看下在微软必应搜索”SEO”时候推荐的关键词就能看到，他们和百度、谷歌一样，原来都是解决不掉这个问题的，推荐的关键词一律为“色哦”。那么后来他们是怎么分析出来这个关键词的呢？这个就要靠SE强大的统计功能了，当SE发现有大量用户搜索“SEO”这个关键词的时候，他们就会将这个关键词添加到词库。这个时候一个新词就产生了。

　　当然还有这种情况是百度贴吧之父俞军和百度CEO李彦宏都向往的一种分词方法，即理解，理解的意思就是我们在搜索“上海最好的SEO公司”的时候，SE能够理解用户要找的是什么信息，他会发现用户最在乎的是“最好的”这个关键词，于是就会将带有“最好的”网站提升到第一位。本站就成功的靠中文分词的这一特性完成了双排名第一的目标。

　　总结一下，SE其实有三种分词方法，一种就是基于字符串匹配的方法，像单子法、二分法等等(依靠词库)；第二种就是靠统计数据，来获得大量的新词，这种方法叫做统计分词；还有一种方法是在统计的基础上，实现匹配的方法，也就是理解的方法，这种方法首先统计大家都搜索这个关键词没有找到后第二个搜索的且搜索量最多的词是什么，比如说很多人搜索“最好”然后发现没有得到他们想要的SERP，结果又搜索了一下“最好的”这个时候大量的统计数据表明“的”是有用的，然后将他添加到“最好的”组成一个新词。前两种分词已经普遍被SE认可，第三种目前对于搜索量低的词还是统计不出来，统计不出来也就没法“理解”。（北京SEO编选）