fanlusky
80b1fc42a1
词格原先的整句打分是一份没校准过的启发式 unigram，质量很差。这里内嵌 libime 在用的 kenlm 查询子集，改由它的三元模型 sc.lm 来打路径分。 - engine/ngram 只编 kenlm 的 query / trie-build 路径。不定义 WITH_THREADS， parallel_read.cc 因此退化成串行实现，整个子集零 Boost 依赖。 KENLM_MAX_ORDER=3 必须与建模阶数一致，改它等于读不懂已发布的模型文件。 - ngram::LanguageModel 是唯一 include kenlm 头文件的地方，对外只给出一个纯 std 的头，_HAS_AUTO_PTR_ETC 和 kenlm 的 include 目录都保持 PRIVATE。 - shared_language_model 按资源路径共享一份 mmap。kenlm 的查询是只读的且把 上下文放在调用方的 State 里，所以并发会话不需要额外加锁。 - 模型缺失时 valid() 为假，词格退回原来的启发式打分：整句候选只是变差，不会 停止工作。测试覆盖了缺模型降级与按路径共享。 - 出货的 ARPA 不带 <s>/</s>，所以解码从 null_state() 起算而非 begin_state()。 kenlm 是上游副本，不重排版、不进 clang-format，其 LGPL-2.1+ 与 BSD 例外清单 已补进 THIRD_PARTY_NOTICES.txt。googlepinyinime 那条 Fallback 整句路径不变。
41 lines
1.1 KiB
C++
41 lines
1.1 KiB
C++
#include "bit_packing.hh"
|
|
#include "exception.hh"
|
|
|
|
#include <cstring>
|
|
|
|
namespace util {
|
|
|
|
namespace {
|
|
template <bool> struct StaticCheck {};
|
|
template <> struct StaticCheck<true> { typedef bool StaticAssertionPassed; };
|
|
|
|
// If your float isn't 4 bytes, we're hosed.
|
|
typedef StaticCheck<sizeof(float) == 4>::StaticAssertionPassed FloatSize;
|
|
|
|
} // namespace
|
|
|
|
uint8_t RequiredBits(uint64_t max_value) {
|
|
if (!max_value) return 0;
|
|
uint8_t ret = 1;
|
|
while (max_value >>= 1) ++ret;
|
|
return ret;
|
|
}
|
|
|
|
void BitPackingSanity() {
|
|
const FloatEnc neg1 = { -1.0 }, pos1 = { 1.0 };
|
|
if ((neg1.i ^ pos1.i) != 0x80000000) UTIL_THROW(Exception, "Sign bit is not 0x80000000");
|
|
char mem[57+8];
|
|
memset(mem, 0, sizeof(mem));
|
|
const uint64_t test57 = 0x123456789abcdefULL;
|
|
for (uint64_t b = 0; b < 57 * 8; b += 57) {
|
|
WriteInt57(mem, b, 57, test57);
|
|
}
|
|
for (uint64_t b = 0; b < 57 * 8; b += 57) {
|
|
if (test57 != ReadInt57(mem, b, 57, (1ULL << 57) - 1))
|
|
UTIL_THROW(Exception, "The bit packing routines are failing for your architecture. Please send a bug report with your architecture, operating system, and compiler.");
|
|
}
|
|
// TODO: more checks.
|
|
}
|
|
|
|
} // namespace util
|