MongoDB源码解析：Full Text Search Index

框架实现

FTS本质上也是Btree索引类型

索引AccessMethod定义：

class FTSAccessMethod : public BtreeBasedAccessMethod

关键成员：

fts::FTSSpec _ftsSpec;

获取索引的函数入口：

void FTSAccessMethod::getKeys(const BSONObj& obj, BSONObjSet* keys) {
  ExpressionKeysPrivate::getFTSKeys(obj, _ftsSpec, keys);
}

追踪到：
fts::FTSIndexFormat::getKeys(ftsSpec, obj, keys);

• ftsSepc：是用来描述语言类型的类，定义的语言索引的一系列属性
• obj：需要被索引的文档
• keys：分词后产生的结果

FTSIndexFormat的实现：

• getKeys：找多文档所有命中的索引，FTS也支持组合索引，全文索引分词的建立通过函数FTSSpec::scoreDocument，注意：单个文档所有的索引加起来不能大于4MB，数量小于400000个。所以MongoDB的全文索引不实用于较大的文档。尤其是中文情况下，由于中文的复杂性，所以要格外注意，从性能角度上建议把文档控制在几百KB左右范围内。
• getIndexKey：获取索引Key，VERSION2的算法对较长的Key进行了Hash压缩，算法是截取前32字节的前缀，后32字节用Murmurhash运算出来的数值代替，所以，最长不会超过64字节。

FTSSpec::scoreDocument，分词，然后统计频度，最后算法评分，算法原则是单词出现比例越大分数约高，单词的基数越大，造成的分数差距越小，算法大概如下：

• exp ＝ 2^(count-1)
• freq = SIGMA(1/exp)
• coeff = (count + totalCount) / ( 2 * totalCount)
• score = weight * freq * coeff

分词实现

分词是搜索的基础，MongoDB目前只支持拉丁语系的分词处理，拉丁语的分词相对与中文简单很多，只需要有限的stop-word（比如the，a，空格等）即可完成一个套简单的分词功能。而中文博大精深，目前还没有非常好的开源库实现中文分词。

具体算法，先用stop-word进行文本切割，然后调用libstemmer三方库进行词干提取，最后得到文本分词。

挑战中文分词

经过一天的代码学习，总结下来，要实现中文分词首先要解决的是中文分词器，然后是字库。

有了两者的基础后，可以通过定义VERSION版本来自定一套分词算法，甚至是评分标准。