Lu Fan(SonnyCalcr)
a60e2948db
fix(engine): 整句联想按 P(读音|字) 压住多音字的生僻读音 (#1123)
tai'zhuan'qian'le 出「大赚钱了」:大 也读 tai,词库里这一行权重 4719,占 tai 的
0.47%,已有的 reading_prior(看 P(字|拼音),1% 免罚线)只扣 0.33,翻不过语言模型
对「大赚」约 1.6 的偏好。换个角度看,大 读 tai 只占它全部权重的 0.14%——这才是
「这个字几乎不这么读」,语言模型只认汉字,这一维要由读音补上。
词格跨度查询对单字行加一项 P(读音|字) 惩罚:占比低于 10% 的部分按 log10 扣分,
上限 2.5。长 chang、重 chong、行 hang 这类常见第二读音不扣;大 tai/dai、会 kuai、
都 du、给 ji 扣 1.5~2。只罚单字,词本身就是读音的证据(会计、成都、大夫)。多音字
各读音的权重和在第一次整句联想时扫一遍单字表载入,全拼与双拼(含直接辅助码)共用。
自建 111 句多音字评测从 79 提到 82,无回归;5% 档翻不过「大赚钱了」,20% 与 10%
结果相同,取保守的一边。test_engine_smoke 加固定权重的断言,句子评测集补两条。
2026-10-20 08:47:27 +08:00
..
2026-10-18 23:11:22 +08:00
2026-10-18 23:11:22 +08:00
2026-10-16 20:48:33 +08:00
2026-10-20 08:47:27 +08:00
2026-10-20 08:47:27 +08:00
2026-09-29 11:33:23 +08:00
2026-09-29 11:33:23 +08:00
2026-10-18 22:54:17 +08:00
2026-10-18 22:54:17 +08:00
2026-10-16 20:48:33 +08:00
2026-09-29 11:33:23 +08:00