s********0 发帖数: 51 | 1 现在有一个survey,上面要填写一些个人信息比如姓名等,还要填写当前工作title,
公司类型等等,然后根据这个表格做feature,再做machine learning预测这个人会不
会买某产品。一个办法是做很多的dummy variable,比如把title 变成is_manager, is
_ceo等,可问题是这个title很可能有上千种,而且还有很多人填写错误等问题,所以
会有很多的dummy variable做出来,并且大多数都出现得非常少 (比如manager写错成
manger可能只有一个人写错)。dummy variable做出来之后,用glmnet来预测的效果其
实很差,比直接用logistic regression做的还差。请问大家遇到这个问题是怎么做的
呢?
还有一个想法是把title的一些level给合并成一个,比如把manager 和 manger合并成
一个。可是这样的问题如何通过算法来实现呢? |
E*********g 发帖数: 185 | 2 query类似的名字,
或者match之后,直接把manxxxger等都改成manager
先unique title看一下大概的pattern
is
【在 s********0 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 现在有一个survey,上面要填写一些个人信息比如姓名等,还要填写当前工作title, : 公司类型等等,然后根据这个表格做feature,再做machine learning预测这个人会不 : 会买某产品。一个办法是做很多的dummy variable,比如把title 变成is_manager, is : _ceo等,可问题是这个title很可能有上千种,而且还有很多人填写错误等问题,所以 : 会有很多的dummy variable做出来,并且大多数都出现得非常少 (比如manager写错成 : manger可能只有一个人写错)。dummy variable做出来之后,用glmnet来预测的效果其 : 实很差,比直接用logistic regression做的还差。请问大家遇到这个问题是怎么做的 : 呢? : 还有一个想法是把title的一些level给合并成一个,比如把manager 和 manger合并成 : 一个。可是这样的问题如何通过算法来实现呢?
|
s********0 发帖数: 51 | 3 谢谢你的回复!有的时候问题还要稍复杂一点儿,比如两个title是一个意思,比如HM
和hiring manager,但是这样就比较难用match找到。
【在 E*********g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : query类似的名字, : 或者match之后,直接把manxxxger等都改成manager : 先unique title看一下大概的pattern : : is
|
n*****3 发帖数: 1584 | 4 简单的 做个dictionary
or 直接 NLP
HM
【在 s********0 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 谢谢你的回复!有的时候问题还要稍复杂一点儿,比如两个title是一个意思,比如HM : 和hiring manager,但是这样就比较难用match找到。
|
E*********g 发帖数: 185 | 5 对啊,只有几千个,加一个column就好
又不是几百万个
【在 n*****3 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 简单的 做个dictionary : or 直接 NLP : : HM
|
l*******s 发帖数: 1258 | 6 关于这些title问题
1. 用edit distance等方法合并同类项
2. 上网找个常用title缩写,自己弄个hash
3. 跑个histogram啥的,找出那些个看上去很奇怪的,往往就是某些写错的或者缩写的
title。手工加入hash
4. 麻烦些,弄个Naive Bayes,加入上下文信息弄个classifier,然后online
learning啊EM啊,最后自动判断合并同类项。
5. 找外面的Vendor。他们有些公司特别擅长做这个。 |
s********0 发帖数: 51 | 7 非常感谢楼上几位的回复!那么除了合并一些level之外,对于这类问题还有没有别的
建议呢?现在做了一些diagnosis的工作,发现用glmnet的方法,即使penalty = 0,
training 和 testing的error仍然都非常的高,似乎模型有严重的under fitting。
Random Forest也试过,结果也不好。 |
E*********g 发帖数: 185 | 8 如果假设不成立, 再怎么调数据也没有用啊
你能预测出超过20%, 你就了不起了 |
G***n 发帖数: 877 | 9 这个问题很难啊,就是数据预处理, 但没有什么好办法。找找相关资料吧,看看怎么
cluster level 的。或者做个语意网络。
is
【在 s********0 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 现在有一个survey,上面要填写一些个人信息比如姓名等,还要填写当前工作title, : 公司类型等等,然后根据这个表格做feature,再做machine learning预测这个人会不 : 会买某产品。一个办法是做很多的dummy variable,比如把title 变成is_manager, is : _ceo等,可问题是这个title很可能有上千种,而且还有很多人填写错误等问题,所以 : 会有很多的dummy variable做出来,并且大多数都出现得非常少 (比如manager写错成 : manger可能只有一个人写错)。dummy variable做出来之后,用glmnet来预测的效果其 : 实很差,比直接用logistic regression做的还差。请问大家遇到这个问题是怎么做的 : 呢? : 还有一个想法是把title的一些level给合并成一个,比如把manager 和 manger合并成 : 一个。可是这样的问题如何通过算法来实现呢?
|
h*********d 发帖数: 109 | 10
is
【在 s********0 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 现在有一个survey,上面要填写一些个人信息比如姓名等,还要填写当前工作title, : 公司类型等等,然后根据这个表格做feature,再做machine learning预测这个人会不 : 会买某产品。一个办法是做很多的dummy variable,比如把title 变成is_manager, is : _ceo等,可问题是这个title很可能有上千种,而且还有很多人填写错误等问题,所以 : 会有很多的dummy variable做出来,并且大多数都出现得非常少 (比如manager写错成 : manger可能只有一个人写错)。dummy variable做出来之后,用glmnet来预测的效果其 : 实很差,比直接用logistic regression做的还差。请问大家遇到这个问题是怎么做的 : 呢? : 还有一个想法是把title的一些level给合并成一个,比如把manager 和 manger合并成 : 一个。可是这样的问题如何通过算法来实现呢?
|