从特征应用的角度说

于信息论而言，不同特征可以看做是采集信息源的不同信道。

1、完全多重共线性，各信道信号一致，可以干掉只留一路不影响信息的表达。

2、不完全多重共线性，各信道受到的噪音不一致，从信息论的角度看综合多个新到的信息表达是更好的，与其抛弃不如综合利用。反映到实际应用中就是与其线性测度后抛弃一部分，不如加正则项抑制各信道的噪音表达。