Inspicio: 面向历史语言的开放词汇表、基于 LLM 的义项检索
Inspicio: Open-Vocabulary, LLM-Based Sense Retrieval for Historical Languages
精选理由
为古典与低资源语言提供开放词义检索新方法
AI 摘要
词义消歧在英语和少数资源丰富的现代语言上取得了快速进展,但它仍然假定源语言中存在一个义项词库以及词到义项的映射(Navigli, 2026)。对于大多数历史语言和低资源语言而言,这些假设并不成立,因为它们各自的 WordNet 要么不完整,要么仍在构建中。我们提出 Inspicio,这是一种开放词汇表检索流水线,它将上下文中的 token 关联到 Open English WordNet(McCrae et al., 2020)的 synsets,而无需任何源语言词库或映射。对于每个出现的词项,经过指令微调的 LLM 会生成周围句子的两个英文翻译、一小组候选的字典式定义,以及若干候选英文词元。这些输出驱动一个混合检索步骤,该步骤结合了稠密的定义-synset 相似度、稀疏的词元匹配,以及最大边际相关性重排序。我们在一个由 6×6 组合构成的 LLM 和句子嵌入模型网格上评估了该流水线,评估对象包括一个新的双语、人工标注的拉丁语和古希腊语感知动词集合、PREMOVE 数据集(Farina, 2025)的一个子集,以及意大利语的历时样本。最佳配置在感知动词测试集上达到 96% 的 Recall@50,每个组件都带来了可测量的提升,并且在域外和跨语言设置下依然具有竞争力。