黄石2023-12-06 10:15:16

同学你好。建议同学对逻辑回归的设定稍作了解即可，不必深究，掌握公式与含义就够了。

逻辑回归（包括与其并列的probit model）都是基于潜在变量法（latent variable approach）推导出来的。简单来说，潜在变量法是假设有一个我们观测不到的潜在变量Y*，Y* = a + b*X1 + c*X2 + ...，但是当Y*超过某个阈值时，我们可以观测到现实中的变量Y = 1，当Y*低于某个阈值时，我们可以观测到现实中的变量Y = 0（举例：当财务困境严重到一定程度时企业选择违约，Y = 1，当财务困境并没有严重到一定程度时企业不违约，Y = 0，这里财务困境严重程度就是Y*，我们并不能直接观测到这么一个变量）。注意此时E[Y] = Pr(违约)*1 + Pr(不违约)*0 = Pr(违约)，也就是说E[Y]就是违约的概率（更广义地，是Y = 1的概率）。联系到回归就是本质上就是一个条件期望（条件于自变量、对于因变量的期望），因此一个简单粗暴的办法就是直接将Y对X做回归，Y = a + b*X1 + c*X2 + ...。这种方法也被称作linear probability model。该方法有一个致命缺陷，就是通过线性回归预测得到的Y可能大于1也可能小于0，不符合E[Y|X]是条件概率的特性。所以我们这时引入一个分布的CDF来限制Y的取值范围严格处于0和1之间（这里的CDF在学术上被称作link function），也就是Y = F(a + b*X1 + c*X2 + ...)。逻辑回归就是用了一个逻辑分布CDF，probit model则是使用标准正态CDF。