D**u 发帖数: 288 | 1 我想用glmnet中的 CV.GLMNET 做一下Binary outcome 的variable selection,然后作
为input feed到GLM 中 fit。
想问一下如果大概有 500 个 Variable,1 million observation, 10G左右的大数据
, R 能handel的了么? 如果可以的话运行一次的时间,能否大概控制在1个小时之内?
有经验的朋友能否告知一下,谢啦! |
A*******s 发帖数: 3942 | 2 you have N>>P, probably GLMNET is an overkill.
use forward selection in SAS
内?
【在 D**u 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我想用glmnet中的 CV.GLMNET 做一下Binary outcome 的variable selection,然后作 : 为input feed到GLM 中 fit。 : 想问一下如果大概有 500 个 Variable,1 million observation, 10G左右的大数据 : , R 能handel的了么? 如果可以的话运行一次的时间,能否大概控制在1个小时之内? : 有经验的朋友能否告知一下,谢啦!
|
D**u 发帖数: 288 | 3 多谢回复,刚看了一下,果真很多用glmnet的case都是针对small N的,这点学到了。
可是,除了glmnet之外,R似乎就剩stepAIC用做selection比较popular,问题是stepAIC
用greedy search,估计很慢,还有什么其他的方法么?
我们已经有一个SAS的analytic系统,正是用stepwise.可是现在想在R上做一个类似的
能处理大数据的Variable Selection方法。
我们也考虑过Revolution Analytics,可是现在还不想上这个,不知道可否。 |
c*******o 发帖数: 8869 | 4 哎, 估计这个问题最终是无解,R本来就是Ross和Bob他们搞出来给本科生上课用的
stepAIC
【在 D**u 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 多谢回复,刚看了一下,果真很多用glmnet的case都是针对small N的,这点学到了。 : 可是,除了glmnet之外,R似乎就剩stepAIC用做selection比较popular,问题是stepAIC : 用greedy search,估计很慢,还有什么其他的方法么? : 我们已经有一个SAS的analytic系统,正是用stepwise.可是现在想在R上做一个类似的 : 能处理大数据的Variable Selection方法。 : 我们也考虑过Revolution Analytics,可是现在还不想上这个,不知道可否。
|
D**u 发帖数: 288 | 5 是挺麻烦的,又看了下bigmemory和ff,发现glm虽然可以做,但是data manipulation中
很多用到是与Base R 不同的语句。好麻烦啊!难道只有Revolution R了么? |
s*r 发帖数: 2757 | 6 你搞各2 way interaction,1m就不多了
stepAIC
【在 D**u 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 多谢回复,刚看了一下,果真很多用glmnet的case都是针对small N的,这点学到了。 : 可是,除了glmnet之外,R似乎就剩stepAIC用做selection比较popular,问题是stepAIC : 用greedy search,估计很慢,还有什么其他的方法么? : 我们已经有一个SAS的analytic系统,正是用stepwise.可是现在想在R上做一个类似的 : 能处理大数据的Variable Selection方法。 : 我们也考虑过Revolution Analytics,可是现在还不想上这个,不知道可否。
|