fanlusky
80b1fc42a1
词格原先的整句打分是一份没校准过的启发式 unigram，质量很差。这里内嵌 libime 在用的 kenlm 查询子集，改由它的三元模型 sc.lm 来打路径分。 - engine/ngram 只编 kenlm 的 query / trie-build 路径。不定义 WITH_THREADS， parallel_read.cc 因此退化成串行实现，整个子集零 Boost 依赖。 KENLM_MAX_ORDER=3 必须与建模阶数一致，改它等于读不懂已发布的模型文件。 - ngram::LanguageModel 是唯一 include kenlm 头文件的地方，对外只给出一个纯 std 的头，_HAS_AUTO_PTR_ETC 和 kenlm 的 include 目录都保持 PRIVATE。 - shared_language_model 按资源路径共享一份 mmap。kenlm 的查询是只读的且把 上下文放在调用方的 State 里，所以并发会话不需要额外加锁。 - 模型缺失时 valid() 为假，词格退回原来的启发式打分：整句候选只是变差，不会 停止工作。测试覆盖了缺模型降级与按路径共享。 - 出货的 ARPA 不带 <s>/</s>，所以解码从 null_state() 起算而非 begin_state()。 kenlm 是上游副本，不重排版、不进 clang-format，其 LGPL-2.1+ 与 BSD 例外清单 已补进 THIRD_PARTY_NOTICES.txt。googlepinyinime 那条 Fallback 整句路径不变。
105 lines
2.7 KiB
C++
105 lines
2.7 KiB
C++
#include "exception.hh"
|
|
|
|
#ifdef __GXX_RTTI
|
|
#include <typeinfo>
|
|
#endif
|
|
|
|
#include <cerrno>
|
|
#include <cstring>
|
|
|
|
#if defined(_WIN32) || defined(_WIN64)
|
|
#include <windows.h>
|
|
#include <io.h>
|
|
#endif
|
|
|
|
namespace util {
|
|
|
|
Exception::Exception() throw() {}
|
|
Exception::~Exception() throw() {}
|
|
|
|
void Exception::SetLocation(const char *file, unsigned int line, const char *func, const char *child_name, const char *condition) {
|
|
/* The child class might have set some text, but we want this to come first.
|
|
* Another option would be passing this information to the constructor, but
|
|
* then child classes would have to accept constructor arguments and pass
|
|
* them down.
|
|
*/
|
|
std::string old_text;
|
|
what_.swap(old_text);
|
|
what_ << file << ':' << line;
|
|
if (func) what_ << " in " << func << " threw ";
|
|
if (child_name) {
|
|
what_ << child_name;
|
|
} else {
|
|
#ifdef __GXX_RTTI
|
|
what_ << typeid(this).name();
|
|
#else
|
|
what_ << "an exception";
|
|
#endif
|
|
}
|
|
if (condition) {
|
|
what_ << " because `" << condition << '\'';
|
|
}
|
|
what_ << ".\n";
|
|
what_ << old_text;
|
|
}
|
|
|
|
namespace {
|
|
|
|
#ifdef __GNUC__
|
|
const char *HandleStrerror(int ret, const char *buf) __attribute__ ((unused));
|
|
const char *HandleStrerror(const char *ret, const char * /*buf*/) __attribute__ ((unused));
|
|
#endif
|
|
// At least one of these functions will not be called.
|
|
#ifdef __clang__
|
|
#pragma clang diagnostic push
|
|
#pragma clang diagnostic ignored "-Wunused-function"
|
|
#endif
|
|
// The XOPEN version.
|
|
const char *HandleStrerror(int ret, const char *buf) {
|
|
if (!ret) return buf;
|
|
return NULL;
|
|
}
|
|
|
|
// The GNU version.
|
|
const char *HandleStrerror(const char *ret, const char * /*buf*/) {
|
|
return ret;
|
|
}
|
|
#ifdef __clang__
|
|
#pragma clang diagnostic pop
|
|
#endif
|
|
} // namespace
|
|
|
|
ErrnoException::ErrnoException() throw() : errno_(errno) {
|
|
char buf[200];
|
|
buf[0] = 0;
|
|
#if defined(sun) || defined(_WIN32) || defined(_WIN64)
|
|
const char *add = strerror(errno);
|
|
#else
|
|
const char *add = HandleStrerror(strerror_r(errno, buf, 200), buf);
|
|
#endif
|
|
|
|
if (add) {
|
|
*this << add << ' ';
|
|
}
|
|
}
|
|
|
|
ErrnoException::~ErrnoException() throw() {}
|
|
|
|
OverflowException::OverflowException() throw() {}
|
|
OverflowException::~OverflowException() throw() {}
|
|
|
|
#if defined(_WIN32) || defined(_WIN64)
|
|
WindowsException::WindowsException() throw() {
|
|
unsigned int last_error = GetLastError();
|
|
char error_msg[256] = "";
|
|
if (!FormatMessageA(FORMAT_MESSAGE_FROM_SYSTEM | FORMAT_MESSAGE_IGNORE_INSERTS, NULL, last_error, LANG_NEUTRAL, error_msg, sizeof(error_msg), NULL)) {
|
|
*this << "Windows error " << GetLastError() << " while formatting Windows error " << last_error << ". ";
|
|
} else {
|
|
*this << "Windows error " << last_error << ": " << error_msg;
|
|
}
|
|
}
|
|
WindowsException::~WindowsException() throw() {}
|
|
#endif
|
|
|
|
} // namespace util
|