D**u
发帖数: 288 | 1 我想用glmnet中的 CV.GLMNET 做一下Binary outcome 的variable selection,然后作
为input feed到GLM 中 fit。
想问一下如果大概有 500 个 Variable，1 million observation， 10G左右的大数据
， R 能handel的了么？ 如果可以的话运行一次的时间，能否大概控制在1个小时之内？
有经验的朋友能否告知一下，谢啦！ |
A*******s
发帖数: 3942 | 2 you have N>>P, probably GLMNET is an overkill.
use forward selection in SAS
内？
【在 D**u 的大作中提到】
: 我想用glmnet中的 CV.GLMNET 做一下Binary outcome 的variable selection,然后作
: 为input feed到GLM 中 fit。
: 想问一下如果大概有 500 个 Variable，1 million observation， 10G左右的大数据
: ， R 能handel的了么？ 如果可以的话运行一次的时间，能否大概控制在1个小时之内？
: 有经验的朋友能否告知一下，谢啦！
|
D**u
发帖数: 288 | 3 多谢回复，刚看了一下，果真很多用glmnet的case都是针对small N的，这点学到了。
可是，除了glmnet之外，R似乎就剩stepAIC用做selection比较popular,问题是stepAIC
用greedy search,估计很慢，还有什么其他的方法么?
我们已经有一个SAS的analytic系统，正是用stepwise.可是现在想在R上做一个类似的
能处理大数据的Variable Selection方法。
我们也考虑过Revolution Analytics,可是现在还不想上这个，不知道可否。 |
c*******o
发帖数: 8869 | 4 哎， 估计这个问题最终是无解，R本来就是Ross和Bob他们搞出来给本科生上课用的
stepAIC
【在 D**u 的大作中提到】
: 多谢回复，刚看了一下，果真很多用glmnet的case都是针对small N的，这点学到了。
: 可是，除了glmnet之外，R似乎就剩stepAIC用做selection比较popular,问题是stepAIC
: 用greedy search,估计很慢，还有什么其他的方法么?
: 我们已经有一个SAS的analytic系统，正是用stepwise.可是现在想在R上做一个类似的
: 能处理大数据的Variable Selection方法。
: 我们也考虑过Revolution Analytics,可是现在还不想上这个，不知道可否。
|
D**u
发帖数: 288 | 5 是挺麻烦的,又看了下bigmemory和ff，发现glm虽然可以做，但是data manipulation中
很多用到是与Base R 不同的语句。好麻烦啊！难道只有Revolution R了么？ |
s*r
发帖数: 2757 | 6 你搞各2 way interaction，1m就不多了
stepAIC
【在 D**u 的大作中提到】
: 多谢回复，刚看了一下，果真很多用glmnet的case都是针对small N的，这点学到了。
: 可是，除了glmnet之外，R似乎就剩stepAIC用做selection比较popular,问题是stepAIC
: 用greedy search,估计很慢，还有什么其他的方法么?
: 我们已经有一个SAS的analytic系统，正是用stepwise.可是现在想在R上做一个类似的
: 能处理大数据的Variable Selection方法。
: 我们也考虑过Revolution Analytics,可是现在还不想上这个，不知道可否。
|
