HiddenLens:一种用于检测和解决软件需求中隐藏假设的多层 LLM 框架
HiddenLens: A Multi-Layer LLM Framework for Detecting and Resolving Hidden Assumptions in Software Requirements
精选理由
深度 91 / 新颖度 88,来自 arXiv cs.AI。
AI 摘要
自然语言软件需求通常会遗漏关于性能、运行条件、用户行为和领域约束的假设,从而影响架构、测试和部署。如果直到实现阶段才发现这些假设,解决它们的成本将远高于及早处理。尽管歧义性和模糊性已得到广泛研究,但对于那些隐藏在需求中、表面上清晰且合理的假设,关注仍然较少。我们提出了 HiddenLens,一种新颖的六层 BERT-LLM 流水线;据我们所知,这是首个旨在检测、分类、质疑并解决隐藏假设,而不仅仅是标记歧义性的框架。第 1 层利用 BERT 注意力熵定位尚未解决的文本片段;第 2 层利用通过 CoT 提示的 LLM 推理,阐明每个假设及其失效风险;第 3 层利用经过微调的 BERT 将假设分类为六类非功能需求:性能、安全性、可扩展性、可用性、可靠性和领域;第 4 层利用 FS LLM 提示生成经过排序的澄清选项;第 5 层通过确认、编辑或改述实现人工验证;第 6 层利用已确认的解决方案重写需求,生成明确、可测试且可追溯的需求。我们还引入了 HiddenLens Corpus(HLC),其中包含 312 条需求,并在六类 NFR 中标注了 847 个隐藏假设。HLC 的构建受到 PROMISE 和 PURE 的启发,弥补了该任务缺乏标注数据的不足;据我们所知,这是首个专门为该任务开发的数据集。HiddenLens 的表现优于基于关键词的方法和 QuARS-Adapted 基线,提升幅度分别为 71% 和 61%,端到端 F1-score 达到 0.79;其基于 BERT 的 NFR 分类器取得了 0.847 的 F1-score。这些结果表明,HiddenLens 能够帮助分析人员在隐藏假设沿软件开发流程扩散之前解决它们。