S****X
发帖数: 20 | 1 By June 30, 2014, applications are invited for at least two Graduate
Research Assistant positions at the Department of Civil and Environmental
Engineering, Washington State University, Pullman (www.ce.wsu.edu).
Successful candidates will be exposed to the fields of innovative concrete
materials and cementitious composite materials. Research projects are funded
by the USDOT and State Departments of Transportation (DOTs). Likely
projects will be conducted in the Laboratory for Advanced and Sustai... 阅读全帖 |
|
c******k
发帖数: 1140 | 2 Sorry, 我的意思是说：
你讨论的高温度下QW band-gap shrinkage是解释激射波长红移是唯一的一个原因呢？
还是只是可能的一个原因。或者说你这个说法已经是一个不容置疑的事实呢？还是只是
你的一个猜测。
当然我自己也要查查这方面的文献，
我自己想到的一个原因是 （只是猜想或者是空想）：如果高的温度下QW band-gap 宽
度维持不变，但是价带的电子在高温下只能占据导带的较低的那些能级，如果这样，激
射波长也是红移。
Thank you!
band |
|
b**s
发帖数: 589 | 3 forget one
8. Shrinkage after dry should be less than 10%.
can hydrogel make this
show
hoho.
solidify |
|
l****o
发帖数: 2909 | 4 try shrinkage estimation. |
|
z****g
发帖数: 1978 | 5 shrinkage method: linear combination of PCA/Factor based cov and sample
based cov |
|
A********a
发帖数: 133 | 6 1. APT is a risk/optimization system bu Sunguard http://www.sungard.com/apt/learnmore, people use APT/Northfield/Axioma/Barra to measure and control their factor/risk exposure. All these systems provide risk/covariance estimation.
2. There have been different approaches to estimate covariance/correlation
matrices, factor-models (above), Bayesian shrinkage estimations (Ledoit &
Wolf), high-frequency (realized vol, realized covariance matrix), dynamic
measures (DCC-GARCH, Exponential weighting, ... 阅读全帖 |
|
c*******e
发帖数: 150 | 7 看看天花乱坠忽悠到头了，其实挺空虚的，基本都是大陆技术 factor models -> mean
-variance portfolio construction with a power-functional form of TC.
最后一段 "Second-Order Cone Programming" 是告诉观众们 他们的 portfolio
construction process 除了一个 TE constraint，其它的都是线性constraints，而且
the TC term 应该是 有理数次方 （e.g. trades.^2 or trades.^(3/2) ）。 只有
有一句话“techniques of Bayesian return forecasting” 偶没有完全看懂，不知道
是说在return forecasts过程中用了 Black-Litterman shrinkage，还是说用了dummy
observations 这些经典的Bayeisan 技术，还是有更高级的Bayesian 技术。 抛砖引玉
，希望有大侠出来指点一二 :) |
|
c*******e
发帖数: 150 | 8 Sure, portfolio optimization (especially TC-aware type) is a very useful
subject for practioners and the pm industry. The thing is, what is tricky
and important in practice (hence I think worth academics' decent attention)
is that even if the jointly Gaussian assumption holds, we should keep in
mind that the Expected Return vector and the Covariance Matrix are always
estimated as opposed to knowing their oracle value, hence robustness
concerns and the corresponding techniques (Black-Litterman sh... 阅读全帖 |
|
|
m**********4
发帖数: 774 | 9 Thanks! So what to do when severe multicollinearity exists? Does it mean
thatfeature selection with shrinkage methods won't work well in general?
Shall we use dimension reduction methods such as
PCA?
at |
|
s*******0
发帖数: 3461 | 10 第二道题 有标准答案吗
个人觉得 ridge 因为是l_2 norm 所以系数不会shrinkage 到0, 但是l_1 norm 的
lasso
regulation parameter lambda 增大的情况下 回归系数会到0,
如果用来做feature selection 的话 应该还是lasso 好点。
另外 共线性 interaction的话 难道不是多加一个x_1*x_2的变量 然后看回归系数
是不是significant 的撒？
是不是这个方法太trival 了？ |
|
h******a
发帖数: 198 | 11 如果是用mean-variance analysis的话，如何估计出portfolio的协方差矩阵很重要 目
前貌似是用shrinkage estimation |
|
d******e
发帖数: 7844 | 12 你这是什么公司啊？居然考这些问题？
1. grouping是什么概念？第一题不就是说明X1不足以解释Y的么？
2. 赶时髦的话可以试试Lasso, Elastic net或者其他shrinkage methods?
3. BIC,AIC,Cross Validation,Generalized Degree of Freedom, Convariance
Penalty等等?
5. 这个老师上课说过，一般是把所有的marginal的variable都算进去，因为漏掉一个
variable比多一个冗余variable对model的影响要大得多。
important
no
the
should |
|
s*r
发帖数: 2757 | 13 这个我做不了
step by step R debug本来就是很头疼的，更何况我对EM shrinkage不熟，sas里面似
乎没有什么step by step debug的工具 |
|
m**********4
发帖数: 774 | 14 I came to this post because my friend recommended me to take a look. I think
Lou zhu is a truly smart and determined person. I think this post will
benefit many people in the future.
Just a quick question: Ridge regression is a technique for variable
selection? I know it is a shrinkage method, but it does not zero out
anything, seems to me. I remember reading it somewhere that in the bias-
variance tradeoff, it somehow reduces the variance.
Also, seems to me PCA is dimension reduction but not va... 阅读全帖 |
|
d******g
发帖数: 130 | 15 PCA for dimension reduction or shrinkage methods. |
|
d******g
发帖数: 130 | 16 PCA does have interpretation issue but should good for prediction's sake.
There is always cross-validation for testing the best components for PCA
models as well as a parsimonious one.
For shrinkage method,LASSO is good for both variable selection and modeling,
outperforming ridge regression. I don't understand your "线性假设"? Do
you mean the assumptions for applying OLS? For computation sake, least
angle regression is usually used for LASSO instead of least square from what
I know. Efron has... 阅读全帖 |
|
f***a
发帖数: 329 | 17
Page 55-75, section 3.4 subset selection and coefficient shrinkage
Hope this helps. Good luck! |
|
|
D*****a
发帖数: 2847 | 19 实质是bayesian的想法
origin没啥特别的，你可以normalize，让origin代表了你的prior belief的
期望值
比如别人做的实验，说这个参数大概是1.5。
你自己也做了些实验，如果忽略别人的结果，估计的参数是5。
如果你想把别人的结果也考虑进去，就把自己的结果向1.5的方向shrink一下。
结果就在1.5和5之间
convincing,
mean,
origin |
|
|
D*********2
发帖数: 535 | 21 小女子不知拜对了何方神仙，居然拿到了Google Marketing Group的电面。之前搜索了
半天没找到statistician@google的面经，所以特来抛砖一把。顺便厚颜无耻的讨点blessing，
先谢谢了～
先介绍下背景，PHD in statistics， 没毕业，超级烂校，没工作经验，一个research
institute的实习。面我的是一个tenured professor，不知为何跳到了industrial，也没
问，觉得他either like this question or hate it，还是不冒险了。
我是一个多月前投的，一个月后拿到follow up questions, 2分钟后拿到telephone
interview，问了面试官说他们不给最终决定，只写报告给评定，供“专家组”审核，
面试中也未被问到follow up question中的答案，所以个人推断interviewer没见过我的答
卷，follow up questions也只是交“专家组”。
anyway，面试过程很简单
1. 他简单介绍了statistician@Google，主... 阅读全帖 |
|
l******t
发帖数: 2243 | 22 bless
发信人: Dreamer1122 (MX), 信区: Statistics
标 题: Google 面经
发信站: BBS 未名空间站 (Wed Jan 26 21:12:11 2011, 美东)
小女子不知拜对了何方神仙，居然拿到了Google Marketing Group的电面。之前搜索了
半天没找到statistician@google的面经，所以特来抛砖一把。顺便厚颜无耻的讨点
blessing，
先谢谢了～
先介绍下背景，PHD in statistics， 没毕业，超级烂校，没工作经验，一个research
institute的实习。面我的是一个tenured professor，不知为何跳到了industrial，也没
问，觉得他either like this question or hate it，还是不冒险了。
我是一个多月前投的，一个月后拿到follow up questions, 2分钟后拿到telephone
interview，问了面试官说他们不给最终决定，只写报告给评定，供“专家组”审核，
面试中也未被问到follow up questi... 阅读全帖 |
|
A*******s
发帖数: 3942 | 23 No. i saw it on Freidman's paper "Regularized Discriminant Analysis". Right
after the formula (18) you can see his description of this problem.
"This shrinkage has the effect of decreasing the larger eigenvalues and
increasing the smaller ones, thereby counteracting the biasing inherent in
sample based estimation of eigenvalues."
I recall I saw similar statements before but I don't know where it is from.
re |
|
A*******s
发帖数: 3942 | 24 都有可能的，我举得的不就是删掉不利于分类的情况么？这种根据multicollinearity
删变量的方法，10个删掉2个可能问题不大，但是100个删掉20个也许就不行。我的经验
是ridge这种smoother shrinkage的方法表现会更好一些。 |
|
c*****r
发帖数: 156 | 25 请问一下lasso里面该怎样选取penalty前面的参数lambda呢？参数选取的不同直接导致
了shrinkage的程度也不同。是用grid search或者迭代的方法来选择最好的lambda么？
谢谢！ |
|
A*******s
发帖数: 3942 | 26 有时候用random effect是因为特殊的目的，
而不一定是因为data本身的性质。
比如说你也提到了level太多，
这时候random effect起的是shrinkage的作用，
或者说是减少model df的。
或者说需要model correlation
可以用random effect也可以用GEE-type的办法
或者说是需要用到Empirical Bayes Estimates的...
还有用来model unconstant variance的...
这个单子能列很长吧，呵呵...
a |
|
w******e
发帖数: 142 | 27 简单粗暴的办法是用
R里面的glmnet
然后family=multinomial直接就用它给的变量选择和shrinkage就可以了。
当然那个cross-validation的图还是要看一下，如果是U型的就比较好，如果是单调的
那就是数据很烂，不适合直接做回归。 |
|
w********m
发帖数: 1137 | 28 Shrinkage 比如ridge和lasso是必须的，否则lambda很难调。其他的倒没听说非得做。 |
|
w********m
发帖数: 1137 | 29 Shrinkage 比如ridge和lasso是必须的，否则lambda很难调。其他的倒没听说非得做。 |
|
W**********E
发帖数: 242 | 30 用LASSO，系数是biased因为shrinkage而且没有p-value。那么拿LASSO单纯地当挑选变
量的方法，重新用这些变量refit regression有何弊端？ |
|
c****t
发帖数: 19049 | 31 没太看明白。Ｃ是权威？不是有的site跟random也差不多么？为神马认定你的结果是
biased?
那个global ratio是当年没办法时的办法。这种情况下可能性较大的是你这个dataset
里QEL互不同意的部分的实际male ratio挺接近35%
如果认定你的结果是biased的，correction用shrinkage/penalty那套。philosophy是
说misclassification/residuals这些不是垃圾而是跟model同样重要甚至更重要的东西
。要解决的是理论上不存在的global optimized solution。具体算法你不会写的话最
简单的办法是把misclassification硬性重model一遍，再model misclassification的
misclassification 。。。直到你满意为止。只要你们公司没人懂quality control理
论，把这些models一凑就行了 |
|
o*s
发帖数: 623 | 32 如果你用SAS
看看这个 PROC GLMSELECT
SAS 9.4还是蛮全的
较早的版本9.2或者9.3没那么全
Forward Selection (FORWARD)
Backward Elimination (BACKWARD)
Stepwise Selection(STEPWISE)
Least Angle Regression (LAR)
Lasso Selection (LASSO)
Adaptive LASSO Selection
Elastic Net Selection (ELASTICNET)
当然R也应该都有的
相关文章：
Efron, B., Hastie, T., Johnstone, I., & Tibshirani, R. (2004). Least angle
regression. The Annals of statistics, 32(2), 407-499.
Tibshirani, R. (1996). Regression shrinkage and selection via the lasso.
Journal of the Royal ... 阅读全帖 |
|
h*****s
发帖数: 275 | 33 用R里面的GBM package 做一个model，如下文
g_top<-gbm(formula=y~x1+x2+x3+x4+...+...+xn,distribution="gaussian",data=d,
weights=d[,3],n.trees=1000,interaction.depth=4,shrinkage=0.001,train.
fraction=0.7)
理论上说GBM是Tree Based Method，由于复杂的模型结构可能无法获得对于每个
variable的coefficient，但是发现run完model以后，发现还是得到了variable比如X3
的coefficient。各位大牛指点一下，这些coefficient有意义嘛？如果有的话，该怎么
解释和应用。 |
|
g****e
发帖数: 1829 | 34 另外，看你的参数如shrinkage这些，好像都是自己定的。一般是不能直接定的。gbm不
像random forest，是boosting而非bagging，所以cross validation必须要做。
|
|
g****e
发帖数: 1829 | 35 GBM一般都要cv。你做个regression都要f-test, bic, aic或者cv，何况gbm。有些经验
值，比如说shrinkage可以用0.001，但cv是标准流程。 |
|
f**d
发帖数: 768 | 36 这是一本计算神经科学的优秀著作，全文拷贝这里（图和公式缺），有兴趣的同学可以
阅读
如需要，我可以分享PDF文件（－－仅供个人学习，无商业用途）
From Computer to Brain
William W. Lytton
From Computer to Brain
Foundations of Computational Neuroscience
Springer
William W. Lytton, M.D.
Associate Professor, State University of New York, Downstato, Brooklyn, NY
Visiting Associate Professor, University of Wisconsin, Madison
Visiting Associate Professor, Polytechnic University, Brooklyn, NY
Staff Neurologist., Kings County Hospital, Brooklyn, NY
In From Computer to Brain: ... 阅读全帖 |
|
m******r
发帖数: 9604 | 37 大铁还是练练吧，想KQ的话迟早得练（俺就无所谓了）。俺IM AZ一路逮着厕所就上。
第二天jj没什么问题，就是腰有点痛。。。
http://www.gzcycle.com/useful_info.htm#How to pee while on the saddle
How to pee while on the saddle
----------------------------------------------------------------------------
----
Rule 1: Make sure you're safe from legal repercussions.
Urinating in public may violate indecent exposure, public nuisance, and
disorderly conduct laws. In some places, you can become a sex offender for
urinating in public. You don't want to have to knoc... 阅读全帖 |
|
m******r
发帖数: 9604 | 38 小企鹅杯具了。直接看最后一句吧。
http://www.gzcycle.com/useful_info.htm#How to pee while on the saddle
How to pee while on the saddle
----------------------------------------------------------------------------
Rule 1: Make sure you're safe from legal repercussions.
Urinating in public may violate indecent exposure, public nuisance, and
disorderly conduct laws. In some places, you can become a sex offender for
urinating in public. You don't want to have to knock on your neighbors'
doors and notify them of your ... 阅读全帖 |
|
c******r
发帖数: 300 | 39 我不否认CS的人确实在写产品上贡献很多(这些是为啥相对统计pay的好的道理)，可是
你要说理论部分CS对data science的贡献摆脱你多读点paper，很多original idea都是
数学统计的人做的(NN, PCA, discriminant analysis, kernel methods, EM，
graphical model, decision tree, model selection, regularization/shrinkage,
this list goes on ...), CS只是做了很多heuristics, adaptation，improvement
and make it HOT，POPULAR and ALMOST FAD，但是这不代表这些东西是CS发明的吧。
不过话说回来你如果只看现在的paper当然不会知道这些了，就像今天谁还去cite这些
最开始的paper。另外做统计的人确实比较不喜欢heuristic的东西，所以比较跟不上潮
流，搞得自己本来有的credit都没了
,
此,
处.
non- |
|
n*****3
发帖数: 1584 | 40 all these shrinkage approach are biased with penalized term.
it is all about optimization with Bias-variance tradeoff |
|
|
E**********e
发帖数: 1736 | 42 刚进入这一行， 没有大牛带。 所以只能从书上的开始学习。只不过书上也是泛泛而谈
。不同的case，建模过程还是有点不一样。
lasso 的k fold可以决定一个shrinkage。 自己也可以选一个。这本质上没有不同。
最后实在40-50个变量效果最好（对应的auc大，变量少）。你这个方法对应的只是一个
model。 但是本身不能用来说你找到了一个好的model。 cross validation 是用来检
查你的modeling 是不是可行，是不是robust。一旦cross validation的model check
好的话， 就可以用数据一，二和三建立最后的model，用来预测将来的data。
现在用数据一和二来建模， 我完全同意，sample size 比较小。 不过cross
validation 是尽量避免用数据一和二来预选变量（从原来的1000多原始变量），这不
是我说的， machine learning 上建议的，最好用unsupervise的的方法选变量（就是
不要看response variable）， 同时我建模过程中也察觉到这一点。
我估计大银行的mode... 阅读全帖 |
|
E**********e
发帖数: 1736 | 43 刚进入这一行， 没有大牛带。 所以只能从书上的开始学习。只不过书上也是泛泛而谈
。不同的case，建模过程还是有点不一样。
lasso 的k fold可以决定一个shrinkage。 自己也可以选一个。这本质上没有不同。
最后实在40-50个变量效果最好（对应的auc大，变量少）。你这个方法对应的只是一个
model。 但是本身不能用来说你找到了一个好的model。 cross validation 是用来检
查你的modeling 是不是可行，是不是robust。一旦cross validation的model check
好的话， 就可以用数据一，二和三建立最后的model，用来预测将来的data。
现在用数据一和二来建模， 我完全同意，sample size 比较小。 不过cross
validation 是尽量避免用数据一和二来预选变量（从原来的1000多原始变量），这不
是我说的， machine learning 上建议的，最好用unsupervise的的方法选变量（就是
不要看response variable）， 同时我建模过程中也察觉到这一点。
我估计大银行的mode... 阅读全帖 |
|
w*******y
发帖数: 60932 | 44 Duck Roll-On 62-by-200-Inch Indoor 5-Window Premium Insulating Film Kit $2.
47 free shipping with Prime (FSSS) from Amazon
It's Summer and it's Hot, but you won't find this any cheaper
Shrink film features exceptional shrinkage, resistance to puncture,
excellent crystal clarity
Pre-taped top edge, rolled configuration for easy application-no pre-
measuring required
Draft-proof seal, great for indoor and outdoor use
Tape removes cleanly and easily at the end of the season, no residue
Kit insulate |
|
w*******y
发帖数: 60932 | 45 The childrens place has their Pocket tees (baby boy sizes 6mos to 4T) on
sale for $2.99 ($2.39 AC) with free shipping - no minimum - today! (Reg. $7
.50)
4 colors in Solids:
http://iway.org/9554861
and
4 colors in stripes:
http://iway.org/9554871
!
Use code: K6g93mrs42. ( gagamama)
quote
Made of 100% cotton jersey
Pre-washed for added softness and to reduce shrinkage
Rib-knit trim
Tagless neck label
Imported
|
|
r****r
发帖数: 891 | 46 shrink
Function: noun
Date: 1590
1: the act of shrinking
2: shrinkage
3 [short for headshrinker] : a clinical psychiatrist or psychologist |
|
