k*****u
发帖数: 1688 | 1 y~一堆x，某些x离散，某些x连续，所以用glmselect来选择变量
但是glmselect好像没有cookd和vif。还是它有我自己没找出来？因为要找outlier
知道的同学帮忙回答一下。谢谢
或者我是不是要用proc mixed来求cookd然后再找outlier？
谢谢 |
|
a***d
发帖数: 336 | 2 glmselect does not seem to have an option like outest..
do I have to manually copy the coefficients from the ODS outputs?
Thanks a lot! |
|
a***d
发帖数: 336 | 3 found that glmselect generates a macro variable with selected effects called
_glsind. I than run a proc reg using the selected effects and save it using
outest. Very awkward but works. |
|
p********a
发帖数: 5352 | 4 ☆─────────────────────────────────────☆
zhongdianshi (brb) 于 (Mon Aug 29 09:50:26 2011, 美东) 提到:
OUTCOME: BMI
PREDICTOR: QUESTION1, QUESTION2, QUESTION5, QUESTION6...
所有的PREDICTORS是ORDIANL VARIABLE.
我想分别TEST OUTCOME和每一个PREDICTOR的CORRELATION.
我用了2个方法:
1.
PROC CORR SPEARMAN;
VAR BMI QUESTION1n QUESTION2n...;
RUN;
生成一个CORRELATION TABLE.
2. ANOVA
分别把每个PREDICTOR和BMI放到MODEL里,这一步,我不是很确定.
proc glm data = DATA;
class QUESTION1;
model BMI = QUESTION1;
meansQUESTION1;
run;
quit;
最终,是要建个MIXED MOD... 阅读全帖 |
|
c**d
发帖数: 104 | 5 如果你不是很熟悉R的话， SAS proc glmselect 是一个很好用的。 |
|
o****o
发帖数: 8077 | 6 tweak PROC GLMSELECT
you can also build your own SAS implementation. |
|
n*****s
发帖数: 10232 | 7 我感觉lasso总是选比stepwise少的多的var（我用的proc glmselect里面的selection=
lasso），有时候会怀疑不可靠。。。实际很多时候在linear regression中，lasso的R
^2也确实比stepwise小（在stepwise结果可以接受的情况下） |
|
c****s
发帖数: 63 | 8 Thanks for your reply!
Yes, you are right.
So according what you said, can I use lasso in 'proc glmselect' in SAS to
find the best variables and then put those variables in 'proc genmod'?
Or do you have any suggestions? Thanks! |
|
d*******o
发帖数: 493 | 9 proc glmselect;
class
model /selection=lasso;
run; |
|
d*******o
发帖数: 493 | 10 你的意思是想用log去transform Gamma distribution的cost吗？那就transform后进去
好了。
proc glmselect;
class
model LogCost=var1 var2 /selection=lasso;
run;
Proc Genmod 好像没有stepwise, backward,lasso这些选项 |
|
d*******o
发帖数: 493 | 11 我猜Proc arboretum是其他一堆procedure的马甲吧,封装了调用其他proc的代码. 我不
信一个
Proc arboretum能实现Proc
cluster/fasclus/neural/dtree/glmselect/factor/logistic所有的功能。如果反向
Proc
arboretum, 就不需要EM这个壳了。
不过有些功能也只有EM有。比如SOM/Kohren segmentation， proc docparse. |
|
|
l***o
发帖数: 22 | 13 Thanks for replying.
I guess GLMSELECT is for "general linear model". Would you show me any
reference of how to use it for logistic regression? Sorry for stupid
question.... 3x!! |
|
d*******o
发帖数: 493 | 14 您就一点幽默感都没有，看骂我骂的像孙子一样，这样大家就没人和您一起玩了。
上头的精算兄不是说了吗，您这模型没有validation和cross-validation. Too much
complexity causes over-fitting. 您的模型就算fits train dataset perfectly，但是
能用吗？像我们这些天天跑模型的马仔，拿着train过以后没有validate的模型跟老板
汇报，不是找
骂吗。
似乎您没有做过模型，只接触过一些AIC, BIC之类的。这样吧，我就跟您指条捷径吧。
SAS里面有个
procedure叫proc glmselect. SAS有个帮助文档，后面有两个例子，您要用sas的话就
跑一下，
您就知道什么叫做validation和cross-validation了。 |
|
A*******s
发帖数: 3942 | 15 先说说拿到这个offer的一些过程。一直盯着几间大银行的网站，五月初发现local有个opening，马上投简历。两三个星期之后HR做了phone screen， 几天之后和HM还有未来的一个同事进行了phone interview。6月底onsite，onsite后半个小时电话通知了口头offer。考虑到拖家带口不好挪窝，而且offer在我这鸟地方已经算很不错的了，没有讨价还价就接受了。
言归正题，接下来写写我觉得值得和大家分享的一些面试经验。这些经验不仅仅是来自于我拿到的offer，也有我对同类型opening面试的一些总结，和与朋友交流的一些经验(主要是statisticians/credit risk modeling at banks). 面试需要准备的技术问题TQ主要包括几方面:
1. GLM. 这个包括了整个过程，从一开始的data cleaning and transformation, outlier detection, missing valuerelated..., etc. 到mulitcollinea... 阅读全帖 |
|
d******g
发帖数: 130 | 16 lamda? cross-validation should work. 现在做lasso的主要用lars in R.
GLMSELECT in SAS |
|
d******g
发帖数: 130 | 17 孤陋寡闻了，我一直用lars和glmselect.那现在什么比较好啊 |
|
q**j
发帖数: 10612 | 18 又看了一遍。那个cv就是cross validation么？我管那个叫trial and error。不能算正
式的理论一些的选择吧？
这些ridge, lasso, LAR, glmselect etc看起来很fancy。请问在大样本中间，比如100
0-3000个样本的时候，比ordinary least square能强多少呢？（从out of sample est
imate and then forecast的角度上来说。 |
|
A*******s
发帖数: 3942 | 19 lazy SAS still uses LAR in its newest glmselect... |
|
s*r
发帖数: 2757 | 20 如果把firth correction也算penalized 的话就算有了
不过这样说来reml也是penalized
不过sas不是有glmselect了吗 |
|
|
|
l***a
发帖数: 12410 | 23 proc logistic的selection好像不支持lasso，可以把y和所有x放到glmselect里面？ |
|
l***a
发帖数: 12410 | 24 所以咋办？
是不是glmselect不适合除了binary response的model？ |
|
o****o
发帖数: 8077 | 25 也许可以试试EFFECT statement里面的COLLECTION选项
现在好几个working horse PROC都支持EFFECT statement，比如LOGISTIC, PLS,
GLIMMIX, GLMSELECT等 |
|
z**********i
发帖数: 12276 | 26 第一步的CORRELATION之后,是要把相关很强的去掉,正在做.多谢!
ANOVA这步,需要分别来看吗?
A one-way analysis of variance (ANOVA) is used when you have a categorical
independent variable (with two or more categories) and a normally
distributed interval dependent variable and you wish to test for differences
in the means of the dependent variable broken down by the levels of the
independent variable.
因为样本比较大,虽然每组的MEAN比较接近,但用F计算的P还是有显著性.另外,
PREDICTOR是ORDINAL,但BMI并不是随着增加或降低.
BACKWARD是用PROC GLMSELECT吧? 以前没用过,去研究一下.
另外,QUESTION5,6,7是相同B... 阅读全帖 |
|
d*******o
发帖数: 493 | 27 不妨直接上proc glmselect stepwise |
|
z**********i
发帖数: 12276 | 28 RESPONSE是BMI,CONTINUOUS.
PREDICTOR都是CATEGORICAL.
下面,我用PROC GLMSELECT看看.
多谢!! |
|
|
s*********e
发帖数: 1051 | 30 how difficult to code it out from scratch? |
|
k*****u
发帖数: 1688 | 31 proc reg不可以对categorical 的自变量做，但是可以用proc glm class
或者你先把那些信用等级变成dummy variable（好像有个叫proc glmselect还是什么的
可以做），然后可以在proc reg里面用 |
|
|
|
s*********e
发帖数: 1051 | 34 awkward and stupid
called
using |
|
l**********o
发帖数: 2 | 35 ods trace on; find out the parameter estimates, then use ods output |
|
a****y
发帖数: 1035 | 36 有没有什么办法可以在做model selection的时候， 始终keep 一个control variable
在model里， 即使这个variable不是significant的？
我在用 proc glmselect， 有什么option可以做到吗？或者有其他procedure？
包子答谢！ |
|
h***x
发帖数: 586 | 37 I have not tried glmselect yet, but for proc logistic, you can do it like
this.
in Model clause, put the variable as the first variable, and use include
option, for example,
model y=variable_wanted other_variable_list /include=1 other_options;
variable |
|
q**********9
发帖数: 711 | 38 proc glm 可以用 model y = var1|var2|var3|var4 @2;
但是option 里没有stepwise选项,
proc reg 有stepwise 选项,但是不能用 model y = var1|var2|var3|var4 @2这个命令,
我的sas 里没有proc glmselect 命令,现在该用哪个 proc 命令呢? |
|
|
q**********9
发帖数: 711 | 40 哇,好详细,谢谢.
我下了 glmselect, 但这个只能基于9.1及更新的版本,我的sas是9.0.
明天按你下面的方法再试试,
非常感谢认真负责的回帖,再接个双簧包 |
|
|
s****u
发帖数: 1200 | 42 glmselect 太好用了，把training ,和validation data 一起放进去，选择的variable
真是有块又好啊，不会出现在validation 和dev 中performance 的巨大差距。
那logistic 有没有类似的好东西啊？只知道可以在Miner里面做,要是sas 也有类似的
procedure 就好了。有木有啊? |
|
D**u
发帖数: 288 | 43 no as far as I know,如果真是想用glmselect的话，可以把response变成1 和 -1，然
后cutoff 取 0 作 predicted response. |
|
o*s
发帖数: 623 | 44 如果你用SAS
看看这个 PROC GLMSELECT
SAS 9.4还是蛮全的
较早的版本9.2或者9.3没那么全
Forward Selection (FORWARD)
Backward Elimination (BACKWARD)
Stepwise Selection(STEPWISE)
Least Angle Regression (LAR)
Lasso Selection (LASSO)
Adaptive LASSO Selection
Elastic Net Selection (ELASTICNET)
当然R也应该都有的
相关文章：
Efron, B., Hastie, T., Johnstone, I., & Tibshirani, R. (2004). Least angle
regression. The Annals of statistics, 32(2), 407-499.
Tibshirani, R. (1996). Regression shrinkage and selection via the lasso.
Journal of the Royal ... 阅读全帖 |
|
