HeRE：通过 LLM 引导的知识图谱对齐去噪构建的新型希伯来语关系抽取基准

arXiv:2610.22542v1 公告类型：cross 摘要：尽管 LLM 在英语关系抽取（RE）任务中展现出强大的能力，但由于缺乏标准化基准，对其在低资源语言中的 RE 性能进行评估仍存在显著缺口。创建原生的、特定语言的带标注 RE 基准成本高昂，并且需要人工专业知识；而依赖翻译则会产生质量欠佳且不准确的数据集，并引入以英语为中心的偏差。为解决这一问题，我们提出了一种可扩展、与语言无关的方法，通过对知识库与对应文本中自然产生但带有噪声的对齐关系进行去噪，来构建 RE 数据。我们将正确对齐定义为一个自然语言推理（NLI）任务：关系三元组应当由输入文本蕴含。我们对五种去噪策略进行了实证评估，并证明在少样本 LLM 设置下，多语言模型优于特定语言模型；而在 NLI 微调下，希伯来语专用编码器仍具竞争力，并且在无标签交叉训练设置下表现最强。我们进一步发现，使用目标语言进行提示所取得的性能与英语提示相当，甚至略高，从而证实该流程能够在目标语言中自然运行。最佳开源权重模型 Gemma-4-31B-it（F1 = 0.915）与最佳 API 模型 GPT-5.4（0.921）性能相当，并在完全留出的双重标注测试集上达到 F1 = 0.844。应用优化后的流程，我们发布了 HeRE：一个新颖且大规模的、包含 150 万条实例的希伯来语 RE 银标数据集，旨在支持数据密集型实验与模型微调。HeRE 弥合了希伯来语 RE 标准化评估中的关键缺口，同时为 NLP 社区提供了一套可复现、与语言无关的流程，用于在其他低资源语言环境中构建 RE 数据集。