协变量缺失情形下的弱假设逻辑回归

arXiv:2610.07292v1 公告类型：交叉收录 摘要：监督学习问题中经常会遇到协变量缺失，利用此类数据进行估计的经典方法通常采用精心选择的缺失数据插补方案，或采用似然近似，从而形成非凸的 $M$-估计问题。这些方法及其相关变体适用于协变量分布已知的情形，而且更广泛地在线性模型中取得了巨大成功。然而，即使在中等维度的逻辑回归这类基本非线性问题中，当协变量分布未知时，此类方法也可能严重失效。出于对可靠替代方法的需求，我们研究了协变量缺失情形下逻辑回归的参数估计问题。关键在于，我们采用弱假设设定，即协变量分布未知（但有界）。我们设计了一种基于具有新型单调算子的 $Z$-估计的随机逼近方法，并证明，在协变量完全随机缺失的假设下，我们的算法具有计算效率，且能够以参数收敛速率实现具有理论保证的信号恢复。我们的理论根据缺失模式精确刻画了该估计量的 $\ell_2^2$ 风险，并允许不同协变量具有不同的观测概率。重要的是，该理论表明，我们的方法始终优于实践中通用的“完整案例”估计量，后者会忽略任何含有缺失数据的观测。即使在同质缺失的设定下（即每个协变量均以概率 $q$ 被独立观测到），我们的界也呈现出对 $q$ 复杂且非标准的依赖关系，相较于仅使用完整案例，这可以带来显著改进。我们还提出了新的信息论下界，以补充我们的上界，并表明这种对 $q$ 的复杂依赖关系在极小极大意义下是本质性的。