Indian Financial Automated Advice Bias (IFAAB) Dataset:审计印度 LLM 生成的金融建议中的社会经济与人口统计差异
The Indian Financial Automated Advice Bias (IFAAB) Dataset : Auditing Socioeconomic and Demographic Disparities in LLM-Generated Financial Advice in India
精选理由
揭示印度金融建议中大模型的性别与种姓偏差,助力高风险AI公平审计与消费者保护。
AI 摘要
大型语言模型正日益用于提供金融指导,但在全球南方语境下,其建议是否会因社会身份而变化,仍鲜为人知。我们推出 Indian Financial Automated Advice Bias (IFAAB) 基准数据集,这是一个反事实审计数据集,包含针对合成印度人物生成的 31,734 条 GPT-4o 金融建议响应,这些人物在性别、种姓、教育程度、就业状况、居住地、年龄和地区等方面有所不同。在保持底层请求不变的情况下,我们评估了 LLM 所暗示的财富、收入、储蓄、预期收益、文本相似度、建议主题以及定性偏见判断方面的差异。在仅考察性别的审计中,与之可比的女性标签人物相比,男性标签人物获得的初始总资源高出 60.1\%,建议后的总资源高出 46.8%;在加入种姓因素的审计中,建议后的总资源差距仍为 49.4\%。加入地区信息后,建议后的总体性别总资源差距降至 7.9\%,揭示出显著的地理条件效应。单独的种姓比较同样显示出系统性分层:相较于 General 类别人物,OBC、SC 和 ST 人物获得的建议后总资源分别显著较低。文本审计显示,成对的性别化响应之间语义相似度较低,TF--IDF 余弦相似度平均得分为 0.44。定性分析表明,女性更常被引导采取谨慎储蓄、社区支持和基础金融知识学习等方向,而男性则更多获得以增长为导向、涉及投资、创业和资产积累的建议。IFAAB 为评估 LLM 介导的金融建议中的公平性、适用性和消费者保护风险提供了可复用的基准,并凸显了在高风险经济领域对 AI 系统开展立足本地且具有交叉性的评估的必要性。