各大输入法分类词库内部格式的简单比较

之前一直利用闲暇时间做深蓝词库转换,对各大输入法的分类词库有了一些大概的了解,下面来比较下各个词库格式的特点:

1.搜狗细胞词库scel格式

scel格式是采用Unicode编码了汉字、拼音。整个scel格式的内容是:头信息、词库简介、拼音组合列表、词条列表。scel格式的词条的数据结构设计的还是比较好的,它使用了拼音指针来避免在词条中出现重复的拼音来占据内容,也会把同音词合并在一起,节省空间。基本结构如下:

该拼音对应的词条数、拼音指针、词条列表。

2.QQ分类词库qpyd格式

qpyd格式是我一直很头疼的格式,原来是采用了zip压缩词条列表。qpyd格式的内容是:头信息、词库简介、压缩的词条列表。qpyd格式由于采用了zip压缩,所以在同样词条数的情况下,整个文件会显得比其他格式的词库小。但是与搜狗的scel格式不同的是,qpyd格式中,每个词条都对应了其拼音,词语是使用UTF8编码,但是拼音是使用Unicode编码,真是很奇怪。

3.百度分类词库bdict格式

百度的bdict格式算是比较简单的,它其实和搜狗的scel格式很相似,主要不同是使用了默认的声母和韵母列表,而不是写在词库文件中。整个bdict格式的内容是:头信息、词库简介、词条列表,词条中的汉字是使用Unicode编码。词条列表的内部格式如下:

拼音长度、(分母序号、韵母序号)列表、词语

这里的分母序号和韵母的序号是在词库中找不到的,需要通过几个实际的bdict词库解析,一个个的归纳出来。

4.紫光分类词库uwl格式

uwl格式的词库并不是很多,所以我现在还不支持对该词库格式的转换,但是使用了WinHex大概看了下,该格式的词库和scel也比较类似,没有使用压缩,但是编码上好像UTF8和Unicode的都有,词条之间的距离很稀疏,也就是说在文件中,词条和词条间有很多0000,实在是浪费空间。

5.触宝备份词库bak格式

触宝输入法的备份文件格式是我觉得数据结构上最复杂的,里面使用的是一个树结构来表示。树结构中的上一层节点和下一个节点还是双向指针,我花了很多的时间来解读,终于能够实现对该文件的解析,但是有些字节不明白是什么意思,没办法根据词库生成对应的bak文件。触宝使用的是Unicode编码来保存汉字,拼音和bdict做的有点类似,也是用的默认的拼音列表,不同之处是,触宝没有将分母和韵母分开,而且把声韵母的组合作为一个列表。

总结下:

这几种词库格式中,感觉scel是比较清晰的,也比较节约空间,而且容易理解,如果能够像QQ词库那样压缩的话,就更节省空间了。qpyd格式把每个词的每个拼音都记录在词后面,实在是浪费空间,还不如scel格式这样方便,而且拼音和汉字使用了2中编码,真是没必要吧。bdict格式把声母和韵母拆开,以默认列表进行检索,这样也比较好,空间利用已经比较充分。紫光的uwl格式就实在不敢恭维,里面充斥着大量的0000,实在太浪费空间了。触宝词库备份文件数据结构太复杂太复杂,一般难以理解。

若要了解具体每种格式的解析办法,可以参加我的项目代码,项目地址:http://code.google.com/p/imewlconverter/

时间: 2024-09-07 19:49:54

各大输入法分类词库内部格式的简单比较的相关文章

QQ输入法分类词库怎么做?

  QQ输入法分类词库怎么做?         登录到QQ拼音输入法分类词库页面.如果要进行与编辑词库或创建词库相关的操作,需要登录一个的QQ号. qq输入法 登录后,原先提示登录的区域会有四个按钮出现.分别是"创建词库"."参与的词库"."上传的词库"和"提交记录".这里点击"创建词库"可以创建一个新的词库. QQ输入法 进入的词库编辑界面如下. 在类别中选取一个基本的类别,然后指定词库的名称并写下这个词

百度输入法分类词库是什么?

  分类词库是开放共享.并可在线下载安装的细分化词库的功能名称. 百度分类词库与百度输入法系统默认词库有何不同呢?百度分类词库是满足用户的个性化输入需求而设立. 一个分类词库就是一个细分类别的词汇集合,分类词库的类别可以是某个专业领域(如医学),也可以是某个地区(如北京地域词库),也可以是某个游戏(如魔兽世界词汇).

QQ输入法for Mac如何下载安装分类词库

  QQ输入法for Mac下载安装分类词库的方法如下: 进入属性设置界面,进入"词库"标签页,点击"更多分类词库下载"链接,即可进入QQ输入法for Mac官方网站的分类词库专区检索下载所需的分类词库,如果单击未启动下载,请在下载链接上点右键,选择"文件另存为"即可下载."词库"标签页点击"+"键,弹出文件选择窗口,选择刚下载的词库文件(.qpyd类型),点击"确认",即可安装词库文件

QQ输入法手机版如何导入分类词库

  QQ输入法手机版支持导入桌面QQ拼音的分类词库.操作方式如下: 第一步:请点击这里下载喜爱的分类词库. 第二步:通过数据线导入到手机中. 第三步:进入设置菜单-词库管理-分类词库. 第四步:不同平台,操作不同,如下描述. Symbian S60 V2/V3平台: 点击左软键"选项"-"添加新词库",找到需要添加的分类词库,确定即可. PPC & Android平台: 点击"添加",找到需要添加的分类词库,确定即可.

QQ五笔输入法如何设置分类词库

  QQ五笔输入法设置分类词库的方法如下: 使用分类词库将满足用户个性化的词库需求. 用户可以在QQ五笔的网站下载需要的各种分类词库,并安装到QQ五笔.

百度输入法如何安装分类词库?

  在百度输入法官网http://ime.baidu.com/dict.html 可以直接下载您所需要的分类词库,点击词库的立即下载会弹出下载指令.如图所示: 您点击"打开"确认安装该分类词库即可. 分类词库安装成功后会有完成提示,点击完成就可以使用该词库了. 如您还想继续添加分类词库请点击更多词库进行下载添加即可.

手心输入法导出词库方法

  最近,有一款新的输入法开始风靡,没错,那就是手心输入法.当我们使用手心输入法的时候会自动生成词库,方便我们在其他地方使用.下面小编就给大家带来手心输入法导出词库方法. 1.点击手心输入法后方的齿轮图标,然后点击[设置]. 2.也可以在开始菜单中点击[手心输入法]->[设置]. 3.点击上方的[词库]图标,进入词库管理页面. 4.点击[导出]按钮. 5.选择您要保存词库文件的位置,点击[保存]按钮. 6.提示您导出了多少条词语,点击[确定]按钮,导出就成功了. 7.打开刚刚导出的词库文件,可以

2014年度十大科技热词出炉 还是冰桶挑战最接地气

科技可以超越时间,让我们预见人类社会的未来:APEC蓝表明,雾霾可以根治,蓝天终会回归:登陆彗星只是一个开始,太阳系起源之谜将逐渐破解:医学正在革新,移动医疗会让医疗服务更快捷.更具 针对性:马云引领了创新,属于中国的创业时代正在到来--科学美国人中文版<环球科学>杂志日前遴选出本年度十大 科技热词, 它们是2014年的科技烙印,也是科技史上的十大节点.APEC蓝▲APEC蓝已经成为人们追求环保生活的标志.入选理由:2014年11月,亚太经合组织(APEC)第二十二次领导人非正式会议在北京召开

2014年度十大科技热词出炉还是冰桶挑战最接地气

科技可以超越时间,让我们预见人类社会的未来:APEC蓝表明,雾霾可以根治,蓝天终会回归:登陆彗星只是一个开始,太阳系起源之谜将逐渐破解:医学正在革新,移动医疗会让医疗服务更快捷.更具 针对性:马云引领了创新,属于中国的创业时代正在到来--科学美国人中文版<环球科学>杂志日前遴选出本年度十大 科技热词, 它们是2014年的科技烙印,也是科技史上的十大节点.APEC蓝▲APEC蓝已经成为人们追求环保生活的标志.入选理由:2014年11月,亚太经合组织(APEC)第二十二次领导人非正式会议在北京召开