arXiv cs.AI精选73

TRIDENT 和 SHAKTI:印地语 AI 文本检测框架与基准

TRIDENT and SHAKTI: A Framework and Benchmark for Hindi AI-Text Detection

· 3天前

精选理由

提供首个覆盖多体裁与模型的印地语 AI 文本检测基准,并提出兼具跨语言适用性与抗对抗能力的检测框架。

AI 摘要

随着大语言模型(LLMs)的多语言能力不断增强,区分人类撰写的文本与 AI 生成的文本对于维护信息完整性至关重要。然而,相关研究仍以英语为中心,针对印地语等低资源语言的基准十分有限。为填补这一空白,我们推出了 SHAKTI,这是一个大规模印地语基准,涵盖四种体裁、八个 LLM 家族、多种提示策略以及对抗性变换。我们通过人工标注评估其质量,并分析人类撰写文本与 AI 生成文本在语言、语法和情感方面的差异。基于这些发现,我们提出了 TRIDENT,这是一种基于往返翻译的检测框架,包含三个变体:TRIDENT-S(静态阈值)、TRIDENT-D(动态阈值)和 TRIDENT-C(使用多距离往返翻译特征的逻辑回归)。TRIDENT 利用原始文本与往返翻译文本之间的语义一致性来识别 AI 生成的内容。大量实验表明,TRIDENT 优于传统基线和有监督基线,其中 TRIDENT-S 的总体表现最佳。在七种语言、对抗性设置以及未见过的 LLM 上开展的进一步评估,证明了该框架的多语言适用性和鲁棒性,同时也凸显了其对翻译模型的敏感性。

查看原文(arXiv cs.AI)