logo
宝腾飞
07-10 · 是语科技
http://t.cn/AXKPHfip 这个是专门配套前面的输入法项目的分词库。若是随便搭配一个分词去做语言模型统计的话，要控制词表大小的话，不可避免会引入很多OOV，这对输入法其实是不可接受的，输入法该能做到输入全部合法汉字。这个库就是解决这个问题的，用到了EM，EntropyPrune等方法来裁剪词表但又能保证分词效果。
发布于 北京
分享
评论
赞
未登录
友善发言
image-upload
评论
加载中