从非结构化数据中发现可解释的规律：一种高维方法
Interpretable Discovery from Unstructured Data: A High-Dimensional Approach
精选理由
将非结构化数据转为可解释概念，系统发现、验证并复现经济学新规律。
AI 摘要
arXiv:2511.01680v5 公告类型：replace-cross 摘要：我们提出了一个用于从非结构化数据中进行发现的自动化通用框架，例如从开放式经济信念调查中获得的文本数据。该框架利用 AI 可解释性文献中的最新方法，将非结构化数据集转换为由可解释概念测量构成的高维结构化数据集；基于转换后的数据集设定概念层面的参数和原假设；利用经高维多重检验领域新研究成果验证的算法对这些假设进行检验，从而生成一个经过筛选的集合（“发现”）；并生成和评估对这些发现的、可供人类理解的自然语言描述。所提出的框架几乎不依赖研究者的自由裁量，对数据窥探具有稳健性，能够减轻探索不足问题，并有助于快速、低成本地开展敏感性分析和复现。我们重新考察了近期实证经济学中针对非结构化数据的描述性分析和因果分析应用，发现该框架能够自动复现已有发现，为其他发现增添细致入微的解释，并且还能作出全新的发现。