python怎么处理大容量的类别数据？（category data）

1698

收藏 2019-08-07

之前用R的时候factor类型可以直接导入模型，现在用Python使用随机森林的时候才发现不支持。
查了下资料，说这个时候一般用one hot encoding，但是我的数据类别有1000多个，容量太大。
请问这个时候一般怎么处理？或者有没有什么好的压缩次元的方法？

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

2019-8-8 11:59:18

1. 利用聚类算法进行类别合并；
2. 利用决策树进行类别合并；
3. WOE编码

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2019-8-8 19:17:58

詹惠儿发表于 2019-8-8 11:59
1. 利用聚类算法进行类别合并；
2. 利用决策树进行类别合并；
3. WOE编码

请问怎么进行合并？只知道决策树用importance重新想了下，比如我有ABCDEF个列，全部都是类别数据。其中ABCDE是X，F是Y，ABCD有10个类别，E有300个类别。
那应该怎么将E聚类？用ABCD来描述E吗？这样不是E就变成相当于ABCD？

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享