T*******I
发帖数: 5138 | 1 我们都活在现实世界里。
如果一个医生想研究冠心病与其它因素的联系，他可以考虑很多的变量，例如，血液中
的高密度脂蛋白、低密度脂蛋白、年龄、性别、体重、身高、胸围、家族史、成千上万
的基因、甚至鼻子的大小、眼睛的深凹、10个手指的长短、尿酸、……、等等等等。只
要是关于一个个体的可测因素，他都可以将其纳入关于冠心病的研究范畴。可是，所有
这些被纳入的因素都与冠心病有关么？因为对于一个个体来说，他的可测因素太多太多
了。那么，他怎么知道哪些该被纳入、哪些该被排除呢？尽管他是一位受过严谨的医学
教育的医生，没有统计学的帮助，他绝无可能。
你或许可以说现在的stepwise法存在着计算技术上的问题。因此，我们可以说，如何选
是一个数学问题，而是否选则是一个哲学问题。 |
|
A*******s
发帖数: 3942 | 2 do u know why stepwise is criticized? |
|
T*******I
发帖数: 5138 | 3 Honestly, I know nothing, even including Statistics. However, I have known
you always provoke me here and never won me. But this time, you won. I don't know the criticism since I even don't know Statistics. |
|
y*****n
发帖数: 5016 | 4 从纯粹的学术角度上讲，这种情况最好是把x1和x2组合成一个变量，但是在工作中，一
般是删掉其中一个，原因是：1，做组合费很多时间（如果能利用eminer的varclus
node当然就节省点时间但是出来的组合可能结构复杂不好解释而且可能overfit）. 2,
即使做了组合，也会面临如何向business teems 和 management 解释这个新变量的直
观定义。3。即使过了前面两关，在implement的时候也不方便，需要提取更多的变量，
进行更多步骤的更复杂的计算，有些production tool可能根本实现不了。 |
|
l*********u
发帖数: 193 | 5 计量经济学课，这周要交一个project，可是数据还没有找好，很头疼。如果谁有现成
的数据，可否麻烦您发到我站内邮箱
里，选中的数据4个包子酬谢，有效期：4个小时之内。
要求：什么样的数据都可以，用来做regression，一个变量，若干自变量，cross-
section data，
例如：汽车价格 ，里程数 ，类型，颜色等。但是这个例子不能用，因为以前做过。
万分感谢！！ |
|
S***E
发帖数: 1977 | 6 我是工程师，最近工作里面碰到个统计学问题。大学和研究生学的统计知识基本都还给
老师了。办公室的老美全部是统计学dummy。只好在这里碰碰运气，多谢帮助。
我有两组数据，a和B，各有八个数据点。
现在我通过一定的计算A=f(a)得到一组新数据A。
然后我试图建立A（自变量）和B（参变量）之间的线性拟合。对于拟合的直线和B之间
，我求得square of the sample correlation coefficient,得到0.92，看起来还不错。
接下来我多事，又反向进行以下步骤，结果傻眼了。
我用f的反函数f',求得b=f'(B)，得到一组数据b。同样的，建立a和b直接的线性拟合。
然后对于b和拟合直线求square of the sample correlation coefficient，得到只有0
.10，看起来糟透了。
总的来说，我从a求A，然后A和B直接相关性很好。但是从B反向求b,b和a的相关性就很
差。请问这个结果自然么？我的问题大概很傻，但是多谢版式各位大牛帮助! |
|
T*******I
发帖数: 5138 | 7 三分回归分析法的应用价值是显而易见的。主要的意义在于使得我们可以在不同的临界
空间里寻找可变的、有意义的自变量集（或因变量的影响因子），从而为预测和控制提
供更加可靠的依据。
从那个学生成绩的影响因素模型的分段回归分析来看，在高、中、低三个分数段的影响
因素很有可能是不一致的。反之，如果不作分段分析，则根本不可能知道影响因素在不
同临界空间的可变性。
在多维空间里讨论临界模型间的连续性将是一个极其复杂的问题。从统计学的随机变异
性思维来看，任何强制连续性假设都是没有根据的。这种假设说得轻一点是不恰当的；
说得重一点简直就是在胡说八道。
我的方法可以按照现有的分析逻辑被改造为以最优化模型选择和强制连续性假设为基础
的方法。是的，我不懂概率论，不懂概率收敛，更不懂根据连续性假设如何解高阶函数
求连续性的临界点、拓扑变换、penalty的设定或任何数学家们可以使用的术语所代表的
他们能理解和使用的理论和方法，因此，任何懂得上述数学理论的人想要这么做我都不
会反对，且改造后的方法不要与我搭任何边。对于我自己来说，我宁可继续在数学特别
是概率论上无知也绝对不会为了一个发表机会而改变它。 |
|
T*******I
发帖数: 5138 | 8 看来，在那些抽象的概念上纠缠永远不能有结果。让我说得具体一点。
给定一个两分法的样本（假定X是自变量而Y是因变量，两段都是简单线性模型，且临界点是在X上）。现行算法及分段模型组的基本表述如下：
hat\y_1 = a1+b1X if X<=t
hat\y_2 = a2+b2X if X>t
ID X Y M CR
1 x1 y1 m1 cr1
2 x2 y2 m2 cr2
3 x3 y3 m3 cr3
4 x4 y4 m4 cr4
5 x5 y5 m5 cr5
6 x6 y6 m6 cr6
7 x7 y7 m7* cr7 min(.)
8 x8 y8 m8 cr8
9 x9 y9 m9 cr9
0 x0 y0 m0 cr0
其中，M是由分段模型组的系数构成的矩阵，CR是分段模型的合并残差。*表示根据最小
CR选定的分段模型，如果我们有 ... 阅读全帖 |
|
k*****u
发帖数: 1688 | 9 看了dreamer同学的面经，发现跟我的不一样啊不一样。
因为給我打电话的人英语有些听不懂，所以问题可能写得不精确。
上来就问什么是logistic回归。解释了一遍。然后问怎么做参数估计.印象当中有3种方
法，可是及不出来。只好说MLE，score method什么的。 然后问我说MLE又怎么做，我
记得好像用拉格让日乘子什么的，拉格朗日还不知道英文怎么说。还有New-Rapson什么
的。记不清了 。
后面一个问题是，如果logistic回归自变量x不是线性的，怎么办？这个问题我也不知
道。只好说那就用多项式回归，然后问我说多项式回归有什么risk？还有多项式回归怎
么选order
下一个问题好像是contingency table的问题：
先问我怎么来design看人们喜欢google 地图还是别的地图。我说那就做个survey。然
后她问我怎么处理这个survey数据。比如n个人做了这个实验。这样看上去是
contingency table啊，可是刚才面试的时候我也慌了。我说的是用开方检验。
接着问的是，除了记录他们喜欢那个地图以外，还有什么要记录的？我说的是还有
respons... 阅读全帖 |
|
b*******t
发帖数: 117 | 10 多谢分享
看了dreamer同学的面经，发现跟我的不一样啊不一样。
因为給我打电话的人英语有些听不懂，所以问题可能写得不精确。
上来就问什么是logistic回归。解释了一遍。然后问怎么做参数估计.印象当中有3种方
法，可是及不出来。只好说MLE，score method什么的。 然后问我说MLE又怎么做，我
记得好像用拉格让日乘子什么的，拉格朗日还不知道英文怎么说。还有New-Rapson什么
的。记不清了 。
后面一个问题是，如果logistic回归自变量x不是线性的，怎么办？这个问题我也不知
道。只好说那就用多项式回归，然后问我说多项式回归有什么risk？还有多项式回归怎
么选order
下一个问题好像是contingency table的问题：
先问我怎么来design看人们喜欢google 地图还是别的地图。我说那就做个survey。然
后她问我怎么处理这个survey数据。比如n个人做了这个实验。这样看上去是
contingency table啊，可是刚才面试的时候我也慌了。我说的是用开方检验。
接着问的是，除了记录他们喜欢那个地图以外，还有什么要记录的？我说的是还有
r... 阅读全帖 |
|
o*******y
发帖数: 810 | 11 收藏先
因为給我打电话的人英语有些听不懂，所以问题可能写得不精确。
上来就问什么是logistic回归。解释了一遍。然后问怎么做参数估计.印象当中有3种方
法，可是及不出来。只好说MLE，score method什么的。 然后问我说MLE又怎么做，我
记得好像用拉格让日乘子什么的，拉格朗日还不知道英文怎么说。还有New-Rapson什么
的。记不清了 。
后面一个问题是，如果logistic回归自变量x不是线性的，怎么办？这个问题我也不知
道。只好说那就用多项式回归，然后问我说多项式回归有什么risk？还有多项式回归怎
么选order
下一个问题好像是contingency table的问题：
先问我怎么来design看人们喜欢google 地图还是别的地图。我说那就做个survey。然
后她问我怎么处理这个survey数据。比如n个人做了这个实验。这样看上去是
contingency table啊，可是刚才面试的时候我也慌了。我说的是用开方检验。
接着问的是，除了记录他们喜欢那个地图以外，还有什么要记录的？我说的是还有
response time，客户体验，想说的挺多的就是不知道怎... 阅读全帖 |
|
T*******I
发帖数: 5138 | 12 这几天版上总有人找我茬。相信他们无一不是数学背景出来搞统计的。他们以为自己掌
握了一点数学技能就在统计学里自命不凡。如果他们不是孬种，就请接受我的以下挑战
，并回答我在最后提出的简单问题。回答不了的，或不敢回答的，就请他/她滚回数学里
去讨饭吃，别仗着自己那份高深莫测的数学理论继续在统计学里胡说八道。为了不再继
续为版上添乱，我想请seattleren, ningyan, kaleege等人接受我的挑战。当然，我也欢
迎任何人参与严肃的讨论。不能说出个一二三四的，就请自动回避，免得自讨没趣（我
想对pp65说的是，我对你感到抱歉，因为本段最后的话对你来说说得太晚了）。
给定一个两分法的样本（假定X是自变量而Y是因变量，两段都是简单线性模型，且临界
点是在X上）。现行算法及分段模型组的基本表述如下：
hat\y_1 = a1+b1X if X<=t
hat\y_2 = a2+b2X if X>t
ID X Y M CR
1 x1 y1 m1 cr1
2 x2 y2 m2 cr2
3 x3 y3 ... 阅读全帖 |
|
T*******I
发帖数: 5138 | 13 你是真看不懂还是故意装14？要不我把问题重复在这里：
给定一个两分法的样本（假定X是自变量而Y是因变量，两段都是简单线性模型，且临界
点是在X上）。现行算法及分段模型组的基本表述如下：
hat\y_1 = a1+b1X if X<=t
hat\y_2 = a2+b2X if X>t
ID X Y M CR
1 x1 y1 m1 cr1
2 x2 y2 m2 cr2
3 x3 y3 m3 cr3
4 x4 y4 m4 cr4
5 x5 y5 m5 cr5
6 x6 y6 m6 cr6
7 x7 y7 m7* cr7 min(.)
8 x8 y8 m8 cr8
9 x9 y9 m9 cr9
0 x0 y0 m0 cr0
我对上述方法进行了如下改造：
hat\y_1 = a1+b1X if X<=t_bar (t: Threshold)
... 阅读全帖 |
|
T*******I
发帖数: 5138 | 14 [本文于2009年12月30日发表在本人在文学城上的博客。前半部分是关于我是如何走近西方古典音乐的，后半部分写的是我是如何实现关于分段回归分析逻辑的突破的。]
以科学理性为利剑，以艺术激情为锋芒
——一个统计学家对西方古典音乐的见证
（本文原为文学城音乐快递版块而作）
鉴于近期几件事情已经使我无法再隐瞒自己的真实身份，我不得不在这里郑重承认：
TNEGI//ETNI = 陈立功 （1）
即原武汉同济医科大学公共卫生学院流行病学与卫生统计学系的副教授陈立功，也就是2000年在网络上发表过关于武汉地区高校合并的那个著名评论的作者（参见Wikipedia词条“陈立功事件”或友人博文《同济往事：卡尔》）。现居马里兰一带，工作于USUHS的预防医学与生物统计系。
顺便在此纠正一下那个友人博客中提到的我被称为同济卡尔的来历。这是因为有一天时任87级卫生系政治辅导员的我去校团委办公室和张晋聊天，不知道... 阅读全帖 |
|
h******n
发帖数: 1838 | 15 公司推出个给学生用的电子教材平台，想知道学生在这个平台上的learning behavior
（比如login的次数，highlight，bookmark和做笔记的次数）会不会对GPA有影响。
问题是，95%的学生都只是看电子书，从来不做笔记，也不加bookmark。所以我有20万
的obs，几个关键的自变量（如bookmarks的count和note的count）95%以上的数据都是
零。我做出来的regression变量都显著但是r-square只有5%。我想coefficient显著主
要是因为sample size大，这么小的r2实在证明不了问题，老板听了很upset，问我有没
有别的方法。
我想这个结果大概因为data太不平衡了，能不能从那大部分为零的数据里面随机抽出一
小部分来和不是零的一起重新做regression呢？这在统计说的通么？或者有没有什么其
他的方法？我统计很弱，希望大家不吝赐教，谢谢！ |
|
H*H
发帖数: 472 | 16 大家好，最近在做多元线性回归时遇到了一个问题，特来请教一下。
先简单说一下我的例子：
在工厂中，一年的时间内，他们会采取一到三种方法去测量排污量（例如200天用A设备
测，150天用B设备测，15天用C设备测）；x1, x2, x3 就是在一年时间内分别用这三种
方法测的排污量，排污总量就是 Y = x1 + x2 + x3。然后工厂还会在年底根据其他方
法估算一年的排污量 Ye. Y 与 Ye这间就必然存在差别，这差别是由A，B, C三种设备
引起的；所以我就利用Y 与 Ye 之间的差别（△y）作为因变量，三种方法实测的量作
为自变量，构建了以下回归方程：
△y = a+ b1*x1 + b2*x2 + b3*x3
利用1000个工厂的数据进行回归， 结果是x1, x2, x3都是与△y 显著相关的；
b1 = -0.08; b2= 0.11; 而 b3 = 3.54
方法A会引起-8%的误差，方法B引起的误差是11%，这都在我们的估计范围内。但是方法
C 引起的误差 354%就远远超出了可能值。
我认为这是由于x3比较小引起的，利用ols方法作回归分析时，x3远小于x1跟x2的话是... 阅读全帖 |
|
k*****u
发帖数: 1688 | 17 你的question变量值是什么啊？ yes / no 这种么？
你的那段英文也说了，anova要自变量是正态。 要是yes / no就不能anova了
differences |
|
l********a
发帖数: 126 | 18 如果有两个可能的自变量，X1和X2.如果单独对X1回归 （Y=a*X1+c+r），得到的判定系
数是R1^2
如果单独对X2回归，得到的判定系数是R2^2
那么如果对两个一起回归(Y=a*X1+b*X2+c+r)
那么可能的最大和最小的判定系数分别是什么？另外，这两种极端情况（最大和最小的
判定系数）下会遇到什么问题？ |
|
h******n
发帖数: 1838 | 19 楼上能不能再详细说说，第一种方法是把每天的login与否做成binary variable，这样
生成40个自变量（假如一门课40天的话）？ log in的pattern怎么看？
还有这个level 1和level 2我不太明白，不是统计专业出身，见笑啦。 |
|
p********a
发帖数: 5352 | 20 ☆─────────────────────────────────────☆
zhongdianshi (brb) 于 (Mon Aug 29 09:50:26 2011, 美东) 提到:
OUTCOME: BMI
PREDICTOR: QUESTION1, QUESTION2, QUESTION5, QUESTION6...
所有的PREDICTORS是ORDIANL VARIABLE.
我想分别TEST OUTCOME和每一个PREDICTOR的CORRELATION.
我用了2个方法:
1.
PROC CORR SPEARMAN;
VAR BMI QUESTION1n QUESTION2n...;
RUN;
生成一个CORRELATION TABLE.
2. ANOVA
分别把每个PREDICTOR和BMI放到MODEL里,这一步,我不是很确定.
proc glm data = DATA;
class QUESTION1;
model BMI = QUESTION1;
meansQUESTION1;
run;
quit;
最终,是要建个MIXED MOD... 阅读全帖 |
|
s*******o
发帖数: 392 | 21 那些自变量的corr不高，最高23%，一般都在10%一下。 |
|
s******a
发帖数: 184 | 22 在学习linear regression 的过程中见到这样一个使用ANOVA table 的例子，
在这个模型中，Y 代表response variable, 有两个自变量，X1 和X2
例子中说，根据以上的ANOVA table, 可以判断出以下几点
1）在考虑X2对X1和Y的影响以后，X1 也和Y有很强的线性相关性
2）假如不考虑X2的影响, X1和Y的线性相关性就不那么明显了。
3）不论考不考虑X1的影响，X2 和Y都有很强的线性相关性，
ANOVA table中的哪些信息可以帮助我得到上面的结论呢， |
|
j*******r
发帖数: 32 | 23 谈谈我的看法~~~
第一个问题应该跟CAMP模型一样，给定mean和variance，求个有效边界，答案应该是半
个椭圆。
第二个二项分布的概率可以用泊松来逼近，不过用计算机直接算也行，不可能让你当场
猜吧。
第三个要看什么模型吧，简单的回归诊断简单点的是QQ图，找异常点，影响值大的点，
最重要的是残差分析，画出残差对于自变量和时间等的图，看看有什么趋势。判别分析
的话主要考虑误差率，分样本内误差和样本外误差，以及CV等。
样的，IV没说。 已知outcome(A)=100,outcome(B)=80, var(A)=25,var(B)=49,并且
minimize |
|
k*****u
发帖数: 1688 | 24 proc reg不可以对categorical 的自变量做，但是可以用proc glm class
或者你先把那些信用等级变成dummy variable（好像有个叫proc glmselect还是什么的
可以做），然后可以在proc reg里面用 |
|
|
|
|
t*********e
发帖数: 71 | 28 binning your variable, no more than 100 |
|
h***x
发帖数: 586 | 29 Some nonlinear transformations such as log, sqrt ...
and the binning mentioned by LS. If your dependent variable is category, and
predictor is continues, group the variable into 10 or 20 bins, calculate
response rate in each bin. Combine adjacent bins with same response rate.
This method works better than nonlinear transformation, but has its own
problems.
Both methods can be automated easily... |
|
n*****3
发帖数: 1584 | 30
then how to interpret it to the clients? what if
the log and sqrt gives you diff stories?
and
You sure lose info/power this way. |
|
h***x
发帖数: 586 | 31 那你给一种nonlinear关系下不丢失信息的线性fitting方法？
实际上就是根据dependent variable和predictor直接的非线性关系进行线性分段拟合
，你没有意识到而已。 |
|
A*******s
发帖数: 3942 | 32 my 2 cents--GAM might be the best choice for nonlinear modeling in business
for a few reasons, say
can use cross validation to govern the trace of the penalization matrix and
avoid overfitting, which is a big concern of nonlinear modeling;
easy to illustrate the marginal effect of each variable, which is not
available in MARS and CART.
Additive assumption make some ad-hoc tasks much easier. say convenient
missing imputation (may not theoretically sound tho), "neutralizing" one
variable, etc... |
|
n*****3
发帖数: 1584 | 33 I am not a expert on this topic,
but I think SVM could be a better choice here,
since you are talking about a non-linear logistic regression here.
agree, Generalized additive model can be a good choice too.
business
and |
|
|
A*******s
发帖数: 3942 | 35 If we only care predictive performance, yes I do agree SVM, or more common,
kernel method, is a better way to capture nonlinear functional form. But as
I said in "business modeling", kernel method has no interpretability and is
hence less appealing.
I am not a expert on this topic,but I think SVM could be a better choice
here,since you ........ |
|
s*********e
发帖数: 1051 | 36 gam没办法确保单调，另外scoring code不portable.
business
and |
|
w******8
发帖数: 59 | 37 我们在建一个“cox Regression” model， 放了好多个covariates，总的自由度是16
。 结果有一个自变量的方向就是不对。我的老板叫我挖掘一下是什么原因，可是有关
的变量都已经在model里了。请问，我该怎么办？ |
|
c****n
发帖数: 1486 | 38 阅读一个文章里面用了多元回归分析(multiple regression analysis). 作者对因变量
(Dependent Variable, DV)取了对数(log-transformed value)，然后获得了一堆统计
意义上显著的结果。
比如，自变量(Independent Variable, IV)A的结果如下：
Unstandardized Coefficients B= 0.192; Std Err. = 0.101
Std Beta= 0.223; Sig.= 0.041
那么这么解读是否正确？
one unit increase in IV A increases DV by 1.92%?
如果IV A的最大值是2，最小值是-1，那么是否可以说A值最大的case比A值最小的case
的DV值要高5.8% (=3*1.92%)?
我感觉这样的解读不太对，但是俺在统计方面基础比较薄弱，所以请求大牛确认一下。 |
|
s*********e
发帖数: 1051 | 39 去找一下我的宏，上千个自变量都是这么跑下来的。 |
|
i******n
发帖数: 839 | 40 model有baseline回归自变量，现在要加一个，baseline分高低两组, bslgrp。要看
treatment*bslgrp interaction，这时baseline本身还应该放到里吗?
同事的观点是要放，比如你的样本有limited baseline low or basleine high ，你不
照样得放baseline到Model里。
但我觉得有点不妥，因为现在不是针对一个的样本 Low group 或High group，是大家
在一个Model里，bslgrp是Basleine的信息重复。
我就一小硕programmer，也不会理论证明，还请这里的大牛给个说法. |
|
|
Y****a
发帖数: 243 | 42 信息量太少了
time series是一种model，logistic是另外一种model，你这俩怎么放一块儿去的，你
得说清楚吧。
model里面都有什么，自变量，因变量，什么都不说，别人也不好乱猜啊。
这个category变量是怎么加在model里的？dummy variables？ |
|
c******x
发帖数: 350 | 43 我完全是门外汉，gene expression 和 sequencing是何区别？
PCA的话，按我的理解，虽然能够降维，但是并不考虑因变量和自变量之间的关系，所
以不太适合在我的问题里。另外，我了解了一下，PLS也可以降维，但是好像不太有效
率。
所以想借鉴一下SAM等生物学里面降维的方法。 |
|
a********e
发帖数: 78 | 44 我想建立一个模型, 需要预测量是一个工程的实际花费.
自变量的类型包括以下几种类型
1) 连续变量
２）一些 binary 变量, （０， １）
３） 一些 categorical变量, 比如 (0, 100, 100.1, 81.94); 这里有一些
categorical变量应该是存在内在order的
请问如何把它们统一在一个model里. 一般的回归模型可以处理这种情况吗？ 一般还有
什么比较好的 可以试。 |
|
p********r
发帖数: 1465 | 45 看是对自变量还是因变量还是都做log，不同情况下解释不同 |
|
Y****a
发帖数: 243 | 46 如果你的x1,x2,x3不会同时出现在同一个model里，你为什么要担心它们是不是
independent的呢？
没太看明白你到底要干什么。x到底是自变量还是因变量？ |
|
f*********3
发帖数: 313 | 47 这倒是个办法，后来发现可以用stata做。谢谢建议啦。
predicted |
|
V*******r
发帖数: 16 | 48 没学过时间序列，这是时间序列的模型吗？可以用别的模型吗？ |
|
w**********n
发帖数: 55 | 49 插值或者四周平均做一个月咯,sas 有个expand过程 |
|
a*******y
发帖数: 105 | 50 你想分析什么？ 需简单的办法就是把这两个作为categorical variable放到你的模型里
★ 发自iPhone App: ChineseWeb 1.0.1 |
|
