关于基于LLM的多智能体系统在医疗运营管理多标准决策中的可能性与局限性

医疗运营管理中的多标准模型需要一组权重，用于表达利益相关者如何权衡患者等待时间、医疗服务提供者的工作负荷和运营成本，但这些权重很难量化。由多个LLM智能体组成的团队，其中每个智能体都通过提示被设定为代表某一利益相关者，已被用于提供这些权重。我们提出了一个框架，用于评估LLM生成的偏好作为多目标优化输入时的可靠性，并量化其不确定性如何影响决策。我们通过要求智能体在门诊预约排程问题中评价各项标准的重要性，研究显性偏好；同时，通过分析智能体在不同急诊科配置之间的成对选择，推断其权衡关系，从而研究隐性偏好。计算实验表明，显性偏好会响应诊所的运营条件，并且因角色不同而存在差异；然而，智能体之间的讨论可能会抹平这些差异，而简单平均则能够保留这些差异。用于揭示智能体隐性偏好的成对选择，很大程度上取决于哪个选项先呈现。我们发现，有限证据表明：将上下文信息与呈现顺序结合起来的统计模型，在预测智能体对新的比较对的选择方面，优于仅使用呈现顺序的模型。随后，我们构建了用于处理偏好不确定性的稳健加权和优化模型。在大多数情况下，与使用平均偏好权重得到的结果相比，这些模型会选择不同的排程或配置。这些结果表明，在将LLM生成的偏好用作医疗决策支持中的优化权重之前，有必要进行此类审计。