c*****r
发帖数: 156 | 1 如果variable有几百个，那一般都有哪些比较常用的model selection的方法？
谢谢各位！ |
D******n
发帖数: 2836 | 2 forward, backward, stepwise.
【在 c*****r 的大作中提到】
: 如果variable有几百个，那一般都有哪些比较常用的model selection的方法？
: 谢谢各位！
|
j*******9
发帖数: 27 | |
a*****3
发帖数: 601 | |
s*******y
发帖数: 2977 | 5 Penalized model selection (L1 or L2 or hybrid of both) |
j****e
发帖数: 158 | 6 Cluster or PCA first, because for hundrends of variables, you might have
multicollinarity |
d******g
发帖数: 130 | 7 PCA for dimension reduction or shrinkage methods. |
a*****3
发帖数: 601 | 8 能不能展开说说？ 我正自学这方面知识，能不能推荐个入门读物？
multicollinarity
【在 j****e 的大作中提到】
: Cluster or PCA first, because for hundrends of variables, you might have
: multicollinarity
|
a*****3
发帖数: 601 | 9 你也展开说说? plus推荐个入门读物？?
【在 d******g 的大作中提到】
: PCA for dimension reduction or shrinkage methods.
|
g********r
发帖数: 8017 | 10 有outcome vvariable的话，PCA不一定好。主成份不一定跟outcome相关。解释也成问
题。
类似思路更好的有supervised PCA， SIR, PLSDA等等。
机器学习的方法比如random forest, SVM挺好。
variable selection比如elastic net，group lasso之类大概也行。是不是有线性假设？
【在 d******g 的大作中提到】
: PCA for dimension reduction or shrinkage methods.
|
|
|
A*******r
发帖数: 194 | 11 What type of response variable?
Try random forrest for binary outcome. |
d******g
发帖数: 130 | 12 PCA does have interpretation issue but should good for prediction's sake.
There is always cross-validation for testing the best components for PCA
models as well as a parsimonious one.
For shrinkage method,LASSO is good for both variable selection and modeling,
outperforming ridge regression. I don't understand your "线性假设"? Do
you mean the assumptions for applying OLS? For computation sake, least
angle regression is usually used for LASSO instead of least square from what
I know. Efron has lots of paper on this.
Correct me if I am wrong on this. Hope this helps.
设？
【在 g********r 的大作中提到】
: 有outcome vvariable的话，PCA不一定好。主成份不一定跟outcome相关。解释也成问
: 题。
: 类似思路更好的有supervised PCA， SIR, PLSDA等等。
: 机器学习的方法比如random forest, SVM挺好。
: variable selection比如elastic net，group lasso之类大概也行。是不是有线性假设？
|
d******g
发帖数: 130 | 13 Faraway has two books on regression techniques using R. Efron and Hastie
have tons of papers on LASSO, etc. Hope this helps.
【在 a*****3 的大作中提到】
: 你也展开说说? plus推荐个入门读物？?
|
g********r
发帖数: 8017 | 14 我是说lasso衍生品一般只寻找y和x的线性关系。当然可以从x衍生出一些predictor来
实现非线性。但是很多x的情况不是那么容易。
随机森林，支持向量机之类就没有这个限制。如果要先降维，SIR也只假设monotone，
不需要线性关系。
modeling,
what
【在 d******g 的大作中提到】
: PCA does have interpretation issue but should good for prediction's sake.
: There is always cross-validation for testing the best components for PCA
: models as well as a parsimonious one.
: For shrinkage method,LASSO is good for both variable selection and modeling,
: outperforming ridge regression. I don't understand your "线性假设"? Do
: you mean the assumptions for applying OLS? For computation sake, least
: angle regression is usually used for LASSO instead of least square from what
: I know. Efron has lots of paper on this.
: Correct me if I am wrong on this. Hope this helps.
:
|
R*******c
发帖数: 249 | 15 我理解你所说的“PCA不一定好。主成份不一定跟outcome相关”
请问可以稍微详细点解释一下 “类似思路更好的有supervised PCA， SIR, PLSDA等等
”，比如哪
个更好之类的？谢谢啊
设？
【在 g********r 的大作中提到】
: 有outcome vvariable的话，PCA不一定好。主成份不一定跟outcome相关。解释也成问
: 题。
: 类似思路更好的有supervised PCA， SIR, PLSDA等等。
: 机器学习的方法比如random forest, SVM挺好。
: variable selection比如elastic net，group lasso之类大概也行。是不是有线性假设？
|
l*********s
发帖数: 5409 | 16 Re
设？
【在 g********r 的大作中提到】
: 有outcome vvariable的话，PCA不一定好。主成份不一定跟outcome相关。解释也成问
: 题。
: 类似思路更好的有supervised PCA， SIR, PLSDA等等。
: 机器学习的方法比如random forest, SVM挺好。
: variable selection比如elastic net，group lasso之类大概也行。是不是有线性假设？
|
