黄石2025-01-13 09:26:08

同学你好。Information gain指的是信息增益。在决策树中，每个feature都能够给我们带来一定的信息增益，简单来说其实就是给我们提供额外的信息、降低了我们的不确定性。举个例子，假设你现在是一家公司的HR。同时假设每个应聘者都有两个不同的feature，其中feature 1是该应聘者是否有硕士学位，feature 2是该应聘者喜欢吃麦当劳的汉堡还是肯德基的汉堡。显然，第一个feature能够给我带来更多的信息增益：如果该应聘者是硕士毕业的话，那么他将更有可能入职，此时不确定性就降低了（而你也在获取该feature的信息后得到了更多的信息增益）；feature 2则是无关紧要的，不管你爱吃哪家的汉堡，通常不会影响你入职与否，该事件的不确定性并不会降低，对你来说也就没有信息增益。