HARISSA：用于高效且安全地部署本地语言模型的推理时自检

在本地运行语言模型在隐私、延迟和成本方面具有优势，但本地硬件只能容纳小型模型，而这些模型的能力不如前沿模型。对于困难查询，通常的补救办法是将其升级到云端模型，但这会放弃本地运行在隐私和成本方面的优势。保持本地运行的部署在面对困难查询时需要做出两个决策。首先，它可以在某个查询上投入更多计算，例如在回答前进行推理，这会以增加延迟为代价提高准确率，因此必须决定哪些查询值得额外计算（效率）。其次，有些查询超出了本地模型的能力范围，而给出错误答案比将查询交由人工介入处理更糟，因此必须决定哪些答案可以安全交付（安全性）。我们表明，这两个决策都可以根据模型自身的隐藏状态做出。预填充状态在生成任何 token 之前计算得到，可预测模型是否会正确回答；答案状态在生成答案结束时得到，可预测该答案是否正确。HARISSA 对模型进行微调，使这两种状态都能预测正确性，然后用一个策略做出这两个决策：该策略按从最便宜到最昂贵的回答方式进行级联，跳过预填充状态预测会失败的方式，并在其停止时得到的答案被预测为错误时将查询转交处理。在运行单个模型的设备上，HARISSA 的准确率与思维链相差不到一个百分点，同时延迟降低了 2.7 倍。在承载同一模型四种尺寸的服务器上，在相同延迟下，HARISSA 比 FrugalGPT 和 Self-REF 级联更准确；在相同转交率下，在六个任务与设置组合中的五个组合里，与标准置信度信号相比，答案状态留下的错误答案更少。