fanlusky
80b1fc42a1
词格原先的整句打分是一份没校准过的启发式 unigram，质量很差。这里内嵌 libime 在用的 kenlm 查询子集，改由它的三元模型 sc.lm 来打路径分。 - engine/ngram 只编 kenlm 的 query / trie-build 路径。不定义 WITH_THREADS， parallel_read.cc 因此退化成串行实现，整个子集零 Boost 依赖。 KENLM_MAX_ORDER=3 必须与建模阶数一致，改它等于读不懂已发布的模型文件。 - ngram::LanguageModel 是唯一 include kenlm 头文件的地方，对外只给出一个纯 std 的头，_HAS_AUTO_PTR_ETC 和 kenlm 的 include 目录都保持 PRIVATE。 - shared_language_model 按资源路径共享一份 mmap。kenlm 的查询是只读的且把 上下文放在调用方的 State 里，所以并发会话不需要额外加锁。 - 模型缺失时 valid() 为假，词格退回原来的启发式打分：整句候选只是变差，不会 停止工作。测试覆盖了缺模型降级与按路径共享。 - 出货的 ARPA 不带 <s>/</s>，所以解码从 null_state() 起算而非 begin_state()。 kenlm 是上游副本，不重排版、不进 clang-format，其 LGPL-2.1+ 与 BSD 例外清单 已补进 THIRD_PARTY_NOTICES.txt。googlepinyinime 那条 Fallback 整句路径不变。
67 lines
1.6 KiB
C++
67 lines
1.6 KiB
C++
#ifndef UTIL_INTEGER_TO_STRING_H
|
|
#define UTIL_INTEGER_TO_STRING_H
|
|
#include <cstddef>
|
|
#include <stdint.h>
|
|
|
|
namespace util {
|
|
|
|
/* These functions convert integers to strings and return the end pointer.
|
|
*/
|
|
char *ToString(uint32_t value, char *to);
|
|
char *ToString(uint64_t value, char *to);
|
|
|
|
// Implemented as wrappers to above
|
|
char *ToString(int32_t value, char *to);
|
|
char *ToString(int64_t value, char *to);
|
|
|
|
// Calls the 32-bit versions for now.
|
|
char *ToString(uint16_t value, char *to);
|
|
char *ToString(int16_t value, char *to);
|
|
|
|
char *ToString(const void *value, char *to);
|
|
|
|
inline char *ToString(bool value, char *to) {
|
|
*to++ = '0' + value;
|
|
return to;
|
|
}
|
|
|
|
// How many bytes to reserve in the buffer for these strings:
|
|
// g++ 4.9.1 doesn't work with this:
|
|
// static const std::size_t kBytes = 5;
|
|
// So use enum.
|
|
template <class T> struct ToStringBuf;
|
|
template <> struct ToStringBuf<bool> {
|
|
enum { kBytes = 1 };
|
|
};
|
|
template <> struct ToStringBuf<uint16_t> {
|
|
enum { kBytes = 5 };
|
|
};
|
|
template <> struct ToStringBuf<int16_t> {
|
|
enum { kBytes = 6 };
|
|
};
|
|
template <> struct ToStringBuf<uint32_t> {
|
|
enum { kBytes = 10 };
|
|
};
|
|
template <> struct ToStringBuf<int32_t> {
|
|
enum { kBytes = 11 };
|
|
};
|
|
template <> struct ToStringBuf<uint64_t> {
|
|
enum { kBytes = 20 };
|
|
};
|
|
template <> struct ToStringBuf<int64_t> {
|
|
// Not a typo. 2^63 has 19 digits.
|
|
enum { kBytes = 20 };
|
|
};
|
|
|
|
template <> struct ToStringBuf<const void*> {
|
|
// Either 18 on 64-bit or 10 on 32-bit.
|
|
enum { kBytes = sizeof(const void*) * 2 + 2 };
|
|
};
|
|
|
|
// Maximum over this and float.
|
|
enum { kToStringMaxBytes = 20 };
|
|
|
|
} // namespace util
|
|
|
|
#endif // UTIL_INTEGER_TO_STRING_H
|