q**j
发帖数: 10612 | 1 终于到了这一步了。请大家推荐一下各种regression variable selection tools。比如
正常regression里面哪个比较好？
另外在ridge, lasso，LAR下面哪个好。还有什么glmnet的？我全部尝试一边，可以汇报
实际效果。
另外问一下，如果用lasso来选择变量，但是用Ordinary least square 估计系数和cov
ariance matrix，这样做合理吗？我要estimate system of equations，不知道lasso这
样的有现成package给用么？普通regression有package systemfit干这个。多谢了。 |
A*******s
发帖数: 3942 | 2 exactly the question i wanna ask. How can we make inferences about the
estimates from regularized method?
The second one is also very interesting to me--how to use regularization for
system of equations?
waiting for big bulls...
比如
汇报
cov
lasso这
【在 q**j 的大作中提到】
: 终于到了这一步了。请大家推荐一下各种regression variable selection tools。比如
: 正常regression里面哪个比较好？
: 另外在ridge, lasso，LAR下面哪个好。还有什么glmnet的？我全部尝试一边，可以汇报
: 实际效果。
: 另外问一下，如果用lasso来选择变量，但是用Ordinary least square 估计系数和cov
: ariance matrix，这样做合理吗？我要estimate system of equations，不知道lasso这
: 样的有现成package给用么？普通regression有package systemfit干这个。多谢了。
|
d******e
发帖数: 7844 | 3 先回答第一个问题：
ridge根本不能做变量选择。
LARS只不过是Lasso的一个Greedy Solution的一种，已经过时了。
直接上glmnet就行了。
再回答第二个问题：
可以用Lasso来做变量选择，再用OLS来重新做estimation，这个就是现在流行的two-
stage model selection and estimation。
你说的system of equations是什么东东？是想找Ax=b的最小L1 norm解？这个就是
compressive sensing啊。直接把regularization设置的非常小，然后threshold一下得
到（n-1）个variable就行了。
比如
汇报
cov
lasso这
【在 q**j 的大作中提到】
: 终于到了这一步了。请大家推荐一下各种regression variable selection tools。比如
: 正常regression里面哪个比较好？
: 另外在ridge, lasso，LAR下面哪个好。还有什么glmnet的？我全部尝试一边，可以汇报
: 实际效果。
: 另外问一下，如果用lasso来选择变量，但是用Ordinary least square 估计系数和cov
: ariance matrix，这样做合理吗？我要estimate system of equations，不知道lasso这
: 样的有现成package给用么？普通regression有package systemfit干这个。多谢了。
|
d******e
发帖数: 7844 | 4 L1 Regularization的主要目标不是做Estimation的，所以不建议在Lasso上做
inference。
for
【在 A*******s 的大作中提到】
: exactly the question i wanna ask. How can we make inferences about the
: estimates from regularized method?
: The second one is also very interesting to me--how to use regularization for
: system of equations?
: waiting for big bulls...
:
: 比如
: 汇报
: cov
: lasso这
|
A*******s
发帖数: 3942 | 5 good to know thanks!!
i think the system of equation lz mentioned is like
Y1=X1*beta1+e1
Y2=X2*beta2+e2
f(Y1, Y2)=0
g(e1, e2)=0
basically there are additional equations to connect two or more regression
models. That's my understanding.
【在 d******e 的大作中提到】
: 先回答第一个问题：
: ridge根本不能做变量选择。
: LARS只不过是Lasso的一个Greedy Solution的一种，已经过时了。
: 直接上glmnet就行了。
: 再回答第二个问题：
: 可以用Lasso来做变量选择，再用OLS来重新做estimation，这个就是现在流行的two-
: stage model selection and estimation。
: 你说的system of equations是什么东东？是想找Ax=b的最小L1 norm解？这个就是
: compressive sensing啊。直接把regularization设置的非常小，然后threshold一下得
: 到（n-1）个variable就行了。
|
d******e
发帖数: 7844 | 6 这种没玩过,不过一样可以formulate成一个L1 regularization问题。但是可能要同时
考虑两个regression model之间的权重
【在 A*******s 的大作中提到】
: good to know thanks!!
: i think the system of equation lz mentioned is like
: Y1=X1*beta1+e1
: Y2=X2*beta2+e2
: f(Y1, Y2)=0
: g(e1, e2)=0
: basically there are additional equations to connect two or more regression
: models. That's my understanding.
|
l******n
发帖数: 9344 | 7 用lagrange multiplier,变成OLS的问题了
【在 A*******s 的大作中提到】
: good to know thanks!!
: i think the system of equation lz mentioned is like
: Y1=X1*beta1+e1
: Y2=X2*beta2+e2
: f(Y1, Y2)=0
: g(e1, e2)=0
: basically there are additional equations to connect two or more regression
: models. That's my understanding.
|
q**j
发帖数: 10612 | 8 right on, thanks.
【在 A*******s 的大作中提到】
: good to know thanks!!
: i think the system of equation lz mentioned is like
: Y1=X1*beta1+e1
: Y2=X2*beta2+e2
: f(Y1, Y2)=0
: g(e1, e2)=0
: basically there are additional equations to connect two or more regression
: models. That's my understanding.
|
q**j
发帖数: 10612 | 9 great. thanks.
【在 d******e 的大作中提到】
: 先回答第一个问题：
: ridge根本不能做变量选择。
: LARS只不过是Lasso的一个Greedy Solution的一种，已经过时了。
: 直接上glmnet就行了。
: 再回答第二个问题：
: 可以用Lasso来做变量选择，再用OLS来重新做estimation，这个就是现在流行的two-
: stage model selection and estimation。
: 你说的system of equations是什么东东？是想找Ax=b的最小L1 norm解？这个就是
: compressive sensing啊。直接把regularization设置的非常小，然后threshold一下得
: 到（n-1）个variable就行了。
|
l*********s
发帖数: 5409 | |
|
|
n*****n
发帖数: 3123 | 11 给个two-stage model selection and estimation的reference
【在 d******e 的大作中提到】
: 先回答第一个问题：
: ridge根本不能做变量选择。
: LARS只不过是Lasso的一个Greedy Solution的一种，已经过时了。
: 直接上glmnet就行了。
: 再回答第二个问题：
: 可以用Lasso来做变量选择，再用OLS来重新做estimation，这个就是现在流行的two-
: stage model selection and estimation。
: 你说的system of equations是什么东东？是想找Ax=b的最小L1 norm解？这个就是
: compressive sensing啊。直接把regularization设置的非常小，然后threshold一下得
: 到（n-1）个variable就行了。
|
d******e
发帖数: 7844 | 12 http://arxiv.org/pdf/0704.1139
http://jmlr.csail.mit.edu/papers/volume11/zhang10a/zhang10a.pdf
第二个虽然是non-convex penalty，但本质上还是一个two-stage的prcedure
【在 n*****n 的大作中提到】
: 给个two-stage model selection and estimation的reference
|
n*****n
发帖数: 3123 | |
F****n
发帖数: 3271 | 14 I am not big bull, but I know the inference of penalized methods have to
rely on Bayesian-style thinking, i.e. you "know" the regularization you
use fit your prior knowledge.
for
【在 A*******s 的大作中提到】
: exactly the question i wanna ask. How can we make inferences about the
: estimates from regularized method?
: The second one is also very interesting to me--how to use regularization for
: system of equations?
: waiting for big bulls...
:
: 比如
: 汇报
: cov
: lasso这
|
A*******s
发帖数: 3942 | 15 thanks. good to know
【在 F****n 的大作中提到】
: I am not big bull, but I know the inference of penalized methods have to
: rely on Bayesian-style thinking, i.e. you "know" the regularization you
: use fit your prior knowledge.
:
: for
|
d******e
发帖数: 7844 | 16 ... ...你好歹应该先知道Lasso和Ridge是什么吧？
【在 q**j 的大作中提到】
: great. thanks.
|
q**j
发帖数: 10612 | 17 不好意思。好像ridge的作用是给每个变量一点点系数，所以哪个也去除不了。自然不
能用来变量选择了。对比？我刚看的。
【在 d******e 的大作中提到】
: ... ...你好歹应该先知道Lasso和Ridge是什么吧？
|
q**j
发帖数: 10612 | 18 打听一下，glmnet default给前面加一行constant。但是我的X matrix里面已经有了这
个常数了，能否改变glmnet？还是我自己要改变了？
还有
set.seed(1010)
n=1000;p=100
nzc=trunc(p/10)
x=matrix(rnorm(n*p),n,p)
beta=rnorm(nzc)
fx= x[,seq(nzc)] %*% beta
eps=rnorm(n)*5
y=drop(fx+eps)
px=exp(fx)
px=px/(1+px)
ly=rbinom(n=length(px),prob=px,size=1)
set.seed(1011)
cvob1=cv.glmnet(x,y)
以后
coef(cvob1)的结果和
coef(cvob1,s=cvob1$lambda.min)不一样。
我想第二个应该是我们最后想要的东西，但是第一个是什么？
最后，cv.glmnet里面如何能够取出来那个balance L1和L2 penalty的常数呢？
... ...你好歹应该先知道Lasso和Ridge是什么吧？
【在 d******e 的大作中提到】
: ... ...你好歹应该先知道Lasso和Ridge是什么吧？
|
