Lu Fan(SonnyCalcr)
a60e2948db
fix(engine): 整句联想按 P(读音|字) 压住多音字的生僻读音 (#1123)
tai'zhuan'qian'le 出「大赚钱了」:大 也读 tai,词库里这一行权重 4719,占 tai 的
0.47%,已有的 reading_prior(看 P(字|拼音),1% 免罚线)只扣 0.33,翻不过语言模型
对「大赚」约 1.6 的偏好。换个角度看,大 读 tai 只占它全部权重的 0.14%——这才是
「这个字几乎不这么读」,语言模型只认汉字,这一维要由读音补上。
词格跨度查询对单字行加一项 P(读音|字) 惩罚:占比低于 10% 的部分按 log10 扣分,
上限 2.5。长 chang、重 chong、行 hang 这类常见第二读音不扣;大 tai/dai、会 kuai、
都 du、给 ji 扣 1.5~2。只罚单字,词本身就是读音的证据(会计、成都、大夫)。多音字
各读音的权重和在第一次整句联想时扫一遍单字表载入,全拼与双拼(含直接辅助码)共用。
自建 111 句多音字评测从 79 提到 82,无回归;5% 档翻不过「大赚钱了」,20% 与 10%
结果相同,取保守的一边。test_engine_smoke 加固定权重的断言,句子评测集补两条。
2026-10-20 08:47:27 +08:00
..
2026-10-11 18:08:33 +08:00
2026-10-17 16:19:26 +08:00
2026-10-11 18:08:33 +08:00
2026-10-12 20:41:23 +08:00
2026-10-12 13:12:21 +08:00
2026-10-17 16:19:26 +08:00
2026-09-30 21:34:12 +08:00
2026-09-30 21:34:12 +08:00
2026-09-30 21:34:12 +08:00
2026-10-05 20:43:02 +08:00
2026-09-12 03:40:48 +08:00
2026-10-20 08:47:27 +08:00
2026-10-16 23:00:06 +08:00
2026-10-16 20:48:33 +08:00
2026-10-18 22:54:17 +08:00
2026-10-17 17:41:01 +08:00
2026-10-11 20:39:55 +09:00
2026-09-30 21:34:12 +08:00
2026-10-18 11:23:26 +08:00
2026-10-08 22:10:13 +08:00
2026-10-04 00:06:38 +08:00
2026-10-11 18:08:33 +08:00
2026-09-30 21:34:12 +08:00
2026-10-16 20:48:33 +08:00
2026-10-17 00:05:17 +08:00
2026-09-30 21:34:12 +08:00
2026-09-12 03:40:48 +08:00
2026-10-01 02:35:55 +08:00
2026-10-18 21:34:56 +08:00
2026-09-30 21:34:12 +08:00
2026-09-12 03:40:48 +08:00
2026-09-30 21:34:12 +08:00
2026-10-15 02:08:36 +08:00