fanlusky
80b1fc42a1
词格原先的整句打分是一份没校准过的启发式 unigram，质量很差。这里内嵌 libime 在用的 kenlm 查询子集，改由它的三元模型 sc.lm 来打路径分。 - engine/ngram 只编 kenlm 的 query / trie-build 路径。不定义 WITH_THREADS， parallel_read.cc 因此退化成串行实现，整个子集零 Boost 依赖。 KENLM_MAX_ORDER=3 必须与建模阶数一致，改它等于读不懂已发布的模型文件。 - ngram::LanguageModel 是唯一 include kenlm 头文件的地方，对外只给出一个纯 std 的头，_HAS_AUTO_PTR_ETC 和 kenlm 的 include 目录都保持 PRIVATE。 - shared_language_model 按资源路径共享一份 mmap。kenlm 的查询是只读的且把 上下文放在调用方的 State 里，所以并发会话不需要额外加锁。 - 模型缺失时 valid() 为假，词格退回原来的启发式打分：整句候选只是变差，不会 停止工作。测试覆盖了缺模型降级与按路径共享。 - 出货的 ARPA 不带 <s>/</s>，所以解码从 null_state() 起算而非 begin_state()。 kenlm 是上游副本，不重排版、不进 clang-format，其 LGPL-2.1+ 与 BSD 例外清单 已补进 THIRD_PARTY_NOTICES.txt。googlepinyinime 那条 Fallback 整句路径不变。
79 lines
1.4 KiB
C
79 lines
1.4 KiB
C
/*
|
|
POSIX getopt for Windows
|
|
|
|
AT&T Public License
|
|
|
|
Code given out at the 1985 UNIFORUM conference in Dallas.
|
|
*/
|
|
|
|
#ifndef __GNUC__
|
|
|
|
#include "getopt.hh"
|
|
#include <stdio.h>
|
|
#include <string.h>
|
|
|
|
#define NULL 0
|
|
#define EOF (-1)
|
|
#define ERR(s, c) if(opterr){\
|
|
char errbuf[2];\
|
|
errbuf[0] = c; errbuf[1] = '\n';\
|
|
fputs(argv[0], stderr);\
|
|
fputs(s, stderr);\
|
|
fputc(c, stderr);}
|
|
//(void) write(2, argv[0], (unsigned)strlen(argv[0]));\
|
|
//(void) write(2, s, (unsigned)strlen(s));\
|
|
//(void) write(2, errbuf, 2);}
|
|
|
|
int opterr = 1;
|
|
int optind = 1;
|
|
int optopt;
|
|
char *optarg;
|
|
|
|
int
|
|
getopt(argc, argv, opts)
|
|
int argc;
|
|
char **argv, *opts;
|
|
{
|
|
static int sp = 1;
|
|
register int c;
|
|
register char *cp;
|
|
|
|
if(sp == 1)
|
|
if(optind >= argc ||
|
|
argv[optind][0] != '-' || argv[optind][1] == '\0')
|
|
return(EOF);
|
|
else if(strcmp(argv[optind], "--") == NULL) {
|
|
optind++;
|
|
return(EOF);
|
|
}
|
|
optopt = c = argv[optind][sp];
|
|
if(c == ':' || (cp=strchr(opts, c)) == NULL) {
|
|
ERR(": illegal option -- ", c);
|
|
if(argv[optind][++sp] == '\0') {
|
|
optind++;
|
|
sp = 1;
|
|
}
|
|
return('?');
|
|
}
|
|
if(*++cp == ':') {
|
|
if(argv[optind][sp+1] != '\0')
|
|
optarg = &argv[optind++][sp+1];
|
|
else if(++optind >= argc) {
|
|
ERR(": option requires an argument -- ", c);
|
|
sp = 1;
|
|
return('?');
|
|
} else
|
|
optarg = argv[optind++];
|
|
sp = 1;
|
|
} else {
|
|
if(argv[optind][++sp] == '\0') {
|
|
sp = 1;
|
|
optind++;
|
|
}
|
|
optarg = NULL;
|
|
}
|
|
return(c);
|
|
}
|
|
|
|
#endif /* __GNUC__ */
|