Lu Fan(SonnyCalcr)
a60e2948db
tai'zhuan'qian'le 出「大赚钱了」：大 也读 tai，词库里这一行权重 4719，占 tai 的 0.47%，已有的 reading_prior（看 P(字|拼音)，1% 免罚线）只扣 0.33，翻不过语言模型 对「大赚」约 1.6 的偏好。换个角度看，大 读 tai 只占它全部权重的 0.14%——这才是 「这个字几乎不这么读」，语言模型只认汉字，这一维要由读音补上。 词格跨度查询对单字行加一项 P(读音|字) 惩罚：占比低于 10% 的部分按 log10 扣分， 上限 2.5。长 chang、重 chong、行 hang 这类常见第二读音不扣；大 tai/dai、会 kuai、 都 du、给 ji 扣 1.5~2。只罚单字，词本身就是读音的证据（会计、成都、大夫）。多音字 各读音的权重和在第一次整句联想时扫一遍单字表载入，全拼与双拼（含直接辅助码）共用。 自建 111 句多音字评测从 79 提到 82，无回归；5% 档翻不过「大赚钱了」，20% 与 10% 结果相同，取保守的一边。test_engine_smoke 加固定权重的断言，句子评测集补两条。
2.5 KiB
2.5 KiB
| 1 | # 全拼整句级切分评测集。eval_quanpin_sentence 逐条敲入「输入」，看首选是不是「期望首选」。 | |||
|---|---|---|---|---|
| 2 | # 列：输入<Tab>期望首选<Tab>类别<Tab>备注 | |||
| 3 | # 类别： | |||
| 4 | # ambiguous 同一串字母有两种等音节数的合法切分，正确的是最少音节规则平局时不选的那一种 | |||
| 5 | # control 同上有歧义，但最少音节规则本来就选对了；改动后不能变差 | |||
| 6 | # plain 没有切分歧义的普通整句和单词，用来盯回归 | |||
| 7 | # word 备选切分在词库里有整词，仍按词频比较（不应受整句打分影响） | |||
| 8 | # typo 合法输入上的手误（需要打开纠错） | |||
| 9 | yibananzhao | 一般按照 | ambiguous | yi'ban'an'zhao / yi'ba'nan'zhao |
| 10 | woxianganzhaojihuazuo | 我想按照计划做 | ambiguous | xiang'an / xian'gan |
| 11 | qinganzhaoshunxupaidui | 请按照顺序排队 | ambiguous | qing'an / qin'gan |
| 12 | tamenyijinganzhaoyaoqiuzuole | 他们已经按照要求做了 | ambiguous | jing'an / jin'gan |
| 13 | zhegefanganhenhao | 这个方案很好 | ambiguous | fang'an / fan'gan |
| 14 | tadefanganbeitongguole | 他的方案被通过了 | ambiguous | fang'an / fan'gan |
| 15 | fanganyijingdingle | 方案已经定了 | ambiguous | fang'an / fan'gan |
| 16 | zhegexiangmudefangan | 这个项目的方案 | ambiguous | fang'an / fan'gan |
| 17 | danganziliao | 档案资料 | ambiguous | dang'an / dan'gan |
| 18 | anzhaoxinfanganzhixing | 按照新方案执行 | ambiguous | fang'an / fan'gan |
| 19 | tazhengzaiganhuo | 他正在干活 | control | zheng'zai'gan |
| 20 | jinanshidaxue | 济南市大学 | control | ji'nan / jin'an |
| 21 | xinanjiaotongdaxue | 西南交通大学 | control | xi'nan / xin'an |
| 22 | dananbusi | 大难不死 | control | da'nan / dan'an |
| 23 | womendouhenganxieni | 我们都很感谢你 | control | hen'gan / heng'an |
| 24 | tazhenganjing | 他真干净 | control | zhen'gan / zheng'an |
| 25 | nihao | 你好 | plain | |
| 26 | womenyiqiqu | 我们一起去 | plain | |
| 27 | jintiantianqibucuo | 今天天气不错 | plain | |
| 28 | zhegewentiyinggaizenmejiejue | 这个问题应该怎么解决 | plain | |
| 29 | xianzaijiuqu | 现在就去 | plain | |
| 30 | ganxienidebangzhu | 感谢你的帮助 | plain | |
| 31 | anzhaoguiding | 按照规定 | plain | |
| 32 | tiananmenguangchang | 天安门广场 | plain | |
| 33 | taizhuanqianle | 太赚钱了 | plain | 大 也读 tai，但只占它全部权重的 0.14%；语言模型偏爱「大赚」，靠 P(读音|字) 压回去 |
| 34 | womendouquguochengdu | 我们都去过成都 | plain | 都 读 du 是生僻读音，「去过程都」靠同一条读音惩罚压回去 |
| 35 | zaijinuta | 再激怒他 | plain | 贪心切分在 jin 上卡死的合法输入；再/在 两可，只盯切分不回退 |
| 36 | fangan | 方案 | word | |
| 37 | danganguan | 档案馆 | word | |
| 38 | changanjie | 长安街 | word | |
| 39 | ziazheliya | 在这里呀 | typo | |
| 40 | jiuzheeyang | 就这样 | typo |