输入法词条权重问题的解决思路

马黑黑 · 发表于 2021-9-5 10:37

请马上登录，朋友们都在花潮里等着你哦：）

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由马黑黑于 2021-9-5 22:29 编辑

全新建立起来的词库，导入输入法，得到的结果往往不理想，问题出在词条的排序上，常用的字不在候选框的第一页或不够靠前，用起来很是尴尬。

分析原因，无非就是词条的权重问题。过去做五笔码表，手工调整词条权重，做完后发誓一周以内不再碰电脑，可见工作量之大。最近调试的码表，单字就有近10万的Unicode汉字，同样的问题又来了，怎么办？先用词库管理工具生成权重，试了几次，效果不行，得另辟蹊径，最终基本达成目标。

方法有二：

第一种：祭出 Excel 杀猪刀

将常用字，比如 GBK 的 20902 个常用汉字放在一列，然后将词库码表粘贴到的二、三列，如下表所示——

一	轴	yuqq
丁	你	yujm
七	鰏	yufu
万	鰐	yuee
丈	鳄	yuyh
三	啊	yufu

第四列用来放词条权重数据，下一步就在此列建立一个公式，用 match 函数检索 B 列的字在 A 列中是否存在，大于 0 即存在，说明它是 GBK 常用字，反之返回 #N/A 的错误值。

=IF(MATCH(B1,A:A,0)>0,1000,)

上面公式，match 套用了一个 if 函数，if 只返回正确值，错误值留空，因为设定错误值也没有用，得到的都是 #N/A。#N/A 不是需要的，所以再用一个 iferror 函数，将错误值变为 1 ，即非常用字的权重。

=IFERROR(IF(MATCH(B1,A:A,0)>0,1000,),1)

至此，填充公式即可。

第二种：请出 EmEditor 水果刀

用 EmEditor 打开码表文档，确保汉字放在第一列，如果不是，可以通过 CSV 排序调整列。接着，在工具条上的筛选栏输入以下正则式子：

^[一-龥]

这个式子，^ 表示行的开头，[一-龥] 表示从一到龥的字任意一个出现一次，这样就过滤掉不是 20902 范围内的字，然后在 CSV 排序模式下在右边新增一列，全选新列，输入 1000 ，OK，常用字的权重生成了。

非常用字也得有权重，否则在实际输入时它们无法往前“进步”。方法简单，反选或修改正则式子为 ^[^一-龥] 即可把它们全筛选出来，接着在新列输入 1 就完工。

虽然这样生成的权重不是很科学，但效果可以接受，算是权宜之计吧。