l**********1
发帖数: 5204 | 1 no s/he is quitted bio PD now on IT world just and her/his spouse now still
on wet bio field (from her/his older vast post here you can got that
conclusion)
>
>>
发信人: KeeVan (Kevin), 信区: Biology
这个事儿是这样的
首先我是写网页的，我也不会统计
但是我倒着往上评论一下
pca吧，要算哪个点或者哪几个点的线性变换是principle component，那你必须要以每
个点为一个dimension算covariance matrix，现在你每个点就一个数据点，直接算不出
来。要算出来可以用hyperparameter，可以考虑gaussian process，但是我觉得对你有
难度，而且这个方法好像不太典型。
mixture model是对的，在你这种情况下也是必要的，但是它解决不了帮你分组这个问
题。
还是二楼说得最实在。你可以找点儿outlier detection的常用算法，把你怀疑的点都... 阅读全帖 |
|
g******r
发帖数: 139 | 2 OK,what you mean is the cDNA concentration used should be in the linear
region of the reaction.
This concentration would vary for each of the genes, dependent on the
abundance. I did not perform such cDNA dilution pilot experiment for each
gene. I just used 2-4 ng cDNA in the real-time PCR. One would assume the
gene with Ct of 25-31 is within the linear range, if the Ct is >33, it is
possible the cDNA conc is kind of out the range.
And it is true as Isaid that I got no outlier replicates for gen... 阅读全帖 |
|
G*****h
发帖数: 320 | 3 如果只是因为看不惯而去掉某个数据，肯定不合理。但也有些数据是真的不同原因导致
的 outliers。所有主要的问题是如何区别某种合理分布曲线里面的尾巴上的数据和真
正的outliers（有个方法就是通过检查一套数据的分布情况来判断）。这个在统计学上
也是个合理的问题，有相应的处理方案。一些处理方案也是在统计学上被接受的。
GraphPad 的那个网页上的一些说明还是比较不错的。当然，如果可行的话，也许最好
是重复实验、增加 biological or technical replicates。 |
|
d********m
发帖数: 3662 | 4 为什么outlier学了统计不能变成super outlier，反而回归了？ |
|
u*******d
发帖数: 3 | 5 【 以下文字转载自 Mathematics 讨论区 】
【 原文由 Uncrowned 所发表 】
在数学和统计学中，outlier、moment对应的中文分别是什么？
怎么定义？谢谢
下面这段话大虾给翻译一下，看得头都大了：
Quantiles characterize distributions of real world data sets
and are less sensitive to outliers than the moments(mean and
variance).
多谢！！ |
|
x***u
发帖数: 336 | 6 moment应该是统计量。
outlier是值得那种离大部分数据很远的小部分数据。
quantiles比起moment来说对outlier的敏感度小。 |
|
l*******e
发帖数: 56 | 7 还有网友在读我的帖，那我就继续吧。 不出所料，我的帖招来了精神科医生，看来你
真有发现潜在客户的慧眼啊， 我正想到你那挂号看病尼。不过精神科医生朋友，你既
然来了， 就不能给麦哥义诊一下，下个诊断， 开个方子， 我也早点得到医治。但转
念一想，我还是别治好了，因为正常人太多了， 不缺我一个，留着我这样的会对增加
人类物种的多样性有好处。老婆大人就经常说， 我是人中的5%，按统计学方法，可以
看成是outlier, 应该处理掉。老婆大人还夸我， 说我是麦坚强，跟猪坚强是一伙的，
是好兄弟。嗨，管她是损我还是夸我，就凭我这10年的心血付水东流，败光了家里仅有
的存钱，老婆还是仁慈的免去我的“无妻徒刑”，这岂止是我一辈子能报答的， 如有
来生，如果我还托生成人， 我就一定再娶。。。。。我还没说完， 老婆就把我的嘴堵
得死死的，说，来生你愿意害谁害谁去，可别再来害我啊。呵呵，我还是以开玩笑开始
我的这一帖的，这是我一贯的西哈风格呀。没办法，生活如此美丽， 不乐行吗？
其实我自己早有诊断，我应该是患了“斯德哥尔摩式match后综合征”。就是说，我被
match这件事绑架了10年，任凭 它对我百般... 阅读全帖 |
|
l*******e
发帖数: 56 | 8 还有网友在读我的帖，那我就继续吧。 不出所料，我的帖招来了精神科医生，看来你
真有发现潜在客户的慧眼啊， 我正想到你那挂号看病尼。不过精神科医生朋友，你既
然来了， 就不能给麦哥义诊一下，下个诊断， 开个方子， 我也早点得到医治。但转
念一想，我还是别治好了，因为正常人太多了， 不缺我一个，留着我这样的会对增加
人类物种的多样性有好处。老婆大人就经常说， 我是人中的5%，按统计学方法，可以
看成是outlier, 应该处理掉。老婆大人还夸我， 说我是麦坚强，跟猪坚强是一伙的，
是好兄弟。嗨，管她是损我还是夸我，就凭我这10年的心血付水东流，败光了家里仅有
的存钱，老婆还是仁慈的免去我的“无妻徒刑”，这岂止是我一辈子能报答的， 如有
来生，如果我还托生成人， 我就一定再娶。。。。。我还没说完， 老婆就把我的嘴堵
得死死的，说，来生你愿意害谁害谁去，可别再来害我啊。呵呵，我还是以开玩笑开始
我的这一帖的，这是我一贯的西哈风格呀。没办法，生活如此美丽， 不乐行吗？
其实我自己早有诊断，我应该是患了“斯德哥尔摩式match后综合征”。就是说，我被
match这件事绑架了10年，任凭 它对我百般... 阅读全帖 |
|
h****t
发帖数: 632 | 9 记得KKV对这种selection on extreme value大加批判，认为是bias。
Ekerstein（1975）所说的crucial case来confirm理论好像也有点关系，crucial case
就是一个极端异常的例子。
最近好像就是George &Benette （2005），Lieberman（2005）认为outlier可以
generate new theory or model。
我个人对此有点想法：1）从学术上讲， 异常案例确实有bias，选择研究它提出的问题
往往带有XX中心论，这就又扯到我们所说的“中国视角”问题。比说我们长听到这些问
题：为什么中国是taxation without representaion?为什么中国的穆斯林不搞jihad?
为什么均势不成功？为什么经济发展在中国没有导致民主。。。。等等之类的“为什么
不”的问题，其实就是看到一个极端的例子，开始obsessed了2）要是做large N，这些
outlier很可能会flatten/twist the regression line,s所以说要确定一个universe
of c |
|
l*****0
发帖数: 179 | 10 如果有每天从dealer那弄到大量bond的数据，有什么统计的方法能否自动发现outlier?
任何异常报价都归属于outlier |
|
S*******s
发帖数: 13043 | 11 干什么都有赚得多的，outlier就和outlier比 |
|
j*********r
发帖数: 200 | 12 用SPSS做一个PROJECT, 期望得到两个变量的R SQUARE的值高于0.7. 但实际上,只有0.
03.
去掉一些OUTLIERS后, 发现R SQUARE的值不升反而降到0.0008. 不明白是怎么回事,难
道去掉OUTLIERS的方法错了么? 怎么样才能提高R SQUARE 和 SPEARMAN CORRE
COEFFIENT 的值呢? 多谢! |
|
l*****0
发帖数: 179 | 13 【 以下文字转载自 Quant 讨论区 】
发信人: liujx80 (xuxu), 信区: Quant
标 题: bond price data clearn
发信站: BBS 未名空间站 (Fri Feb 12 13:33:07 2010, 美东)
如果有每天从dealer那弄到大量bond的数据，有什么统计的方法能否自动发现outlier?
任何异常报价都归属于outlier |
|
j*******g
发帖数: 33 | 14 现在还没有对数据作任何处理，
想试ZINB，ZIP二选一，outlier的话是把不fit的点头和尾都砍掉？想敲定一个model fit差不多的时候再考虑kick out outliers.
涉不涉及influencial points? 总觉得最后那个leverage~st.Pear resi看不懂
刚学着fitting实际问题，帮建议一下，谢谢! |
|
t****r
发帖数: 702 | 15 It is actually a very good idea but it is definitely not easy to answer any
of following questions.
1. How do you construct weights?
2. How can you show the weights are constructed in a sensible way?
3. In what sense can you consider the weights you constructed is "good"? Pre
diction error?
4. Is there a uniformly best way to construct the weights? And in what sense
it is the best?
5. Is the results subject to things like outliers? For example, say you have
good results using one of your data se... 阅读全帖 |
|
d********p
发帖数: 31 | 16 sort of. 但要考虑 local trend。譬如凹谷中的峰应当算是outlier， 若果直接算z-
score可能会丢掉。
发现有R package 'outliers'， 但是它不给p-values。 |
|
k*****u
发帖数: 1688 | 17 y~一堆x，某些x离散，某些x连续，所以用glmselect来选择变量
但是glmselect好像没有cookd和vif。还是它有我自己没找出来？因为要找outlier
知道的同学帮忙回答一下。谢谢
或者我是不是要用proc mixed来求cookd然后再找outlier？
谢谢 |
|
k*******a
发帖数: 772 | 18 如果是normal的话，那么 1.5 iqr大概相当于 2.8 sigma,这样子的话概率比较小，大
概 0.5%. 不过如果数据比较大，比如1000个，那么有超过2.8sigma的观测值的概率几
乎是100%，我觉得这种情况下也不该算outlier吧？ 不是很清楚outlier怎么定义的 |
|
k*******a
发帖数: 772 | 19 如果是normal的话，那么 1.5 iqr大概相当于 2.8 sigma,这样子的话概率比较小，大
概 0.5%. 不过如果数据比较大，比如1000个，那么有超过2.8sigma的观测值的概率几
乎是100%，我觉得这种情况下也不该算outlier吧？ 不是很清楚outlier怎么定义的 |
|
s******o
发帖数: 283 | 20 用box plot的时候，为啥用h = 1.5IQR 来 detect outliers, 系数为啥是1.5?
One other relevant question is when we use 3sigma for outliers? why the
coefficient is 3 here?
Thanks so much in advance. |
|
s******o
发帖数: 283 | 21 thanks a lot for all of your help.
So both the Box-plot 1.5IQR and 3sigma methods all have fixed portion of
data to be outliers, the difference between them is the value of the
percentage.
is that correct?
Also when the sample size increase, the number of outliers also increase ? |
|
g*******u
发帖数: 148 | 22 My bad. Now I got you. The quick answer is, yes, people in my field are serious in the use of Bayesian . You can go check:
http://www.sawtoothsoftware.com/products/cbc/cbchb.shtml
As you can see, this is a module for the implementation of hierarchical
Bayes. The module is only 5 MB in size but asks for USD $2,000!
In the design phase we have several different methods to create surveys, while in the analytics phase the underlying method is all about random-effect logit model using hierarchical Ba... 阅读全帖 |
|
I*****a
发帖数: 5425 | 23 dffit and dfbeta can help find out some potential outliers
it's a tricky question how to deal with outliers. it depends on the nature
of your data. many subjective factors.
you meant like kernel smoothing ? |
|
l*******o
发帖数: 71 | 24 想今秋转行学统计，请有经验的同胞们给点建议和鼓励给我指条明路。现在的我很
迷茫不知道自己的选择是不是正确的。最近看过很多帖子说统计小硕找工作不容易什么
的，弄得我一身冷汗。先做一下自我介绍本人31了，2009年毕业于国内一普通大学2E专
业。来美国5年了一直做全职，现在宝宝也快2岁了。我和老公的绿卡正在排期，大概是
两年后能排到，所以想现在学点东西到时候找个工作。我现在的想法就是只要毕业能找
到工作就好。真怕花了老公大把银子最后还是家庭主妇。哦对了忘交代了，我的英语水
平是一般。教育宝宝都是全中文的。我的问题主要有2个方面。
1.学统计从事哪个方向的就业机会多啊？我看有学生物统计去药厂的，有在银行和保险
公司的。看有人说药厂的工作经验到换工作的时候是很难转的。那什么方向的工作经验
是越久越光明呢？
2学校的curriculum上有好多课程，有经验的兄弟姐妹们能帮我看看哪些课程的实用性
强么？里边有的应该是phd的课程，不知道我能不能选呢。我把一些我觉的不用选的和
不能选的课程删掉了。小硕就是10门课。
courses list：
8001. Probability ... 阅读全帖 |
|
z****e
发帖数: 54598 | 25 这个方法有两个维度
要成为seed的话，第一个条件就是周围density够高
outlier第一个条件就不满足，所以很容易被排除掉
of
their
outlier |
|
|
g****u
发帖数: 25 | 27 骑驴找马今天面了一个感觉牛逼哄哄的startup, 已挂，满满的挫败感。最大的感受是
平时做项目的时候machine learning的算法都是抓来用用，那个好用用哪个，但对算法
的理解都很肤浅，没有深入思考过。大牛们看看下面几个问题怎么回答才好？
1）第一个问题是我有一个项目用mape来evaluate模型，面试官问我为什么不能用rmse
，我说mape是客户要求的，所以我就没多想，我实在不好意思讲我当时瞎扯了点啥，
太打脸了
2）面试官问我favorite的算法是什么，我说没有，平时logistic regression和random
forest用的比较多，然后面试官就问我什么时候用lg什么时候用rf。虽然我理论上知
道一点各自的特点比如lg对outlier比较敏感，模型interpretability比较高, rf是non
-parametric的所以对outlier不敏感，不用担心colinearity的问题之类的，但用到具
体问题的时候，我就说不上来了，因为其实我是抓来都用用，如果两个算法
performance差的比较大，我就直接用好的那个。我临时就凭感觉说如果featu... 阅读全帖 |
|
z*******n
发帖数: 1034 | 28 免费游戏模式束缚着开发者的双手
发布时间：2014-05-22 17:11:19 Tags：付费模式,免费游戏,市场,手机平台,玩家
作者：Barry Meade
在今年的三月初，Fireproof公开了一个好消息，即自从我们的手机游戏《The Room》
和《The Room 2》发行以来已经卖出了550万份了。
在Fireproof，我们总是能听到一款手机游戏必须是休闲的，且能够免费下载的说法，
作为一种服务的游戏将永久地出现在玩家面前。但因为我们的游戏都很短，既黑暗又残
忍，不存在社交或在线元素，且不包含应用内部购买或广告，所以这便是一大问题。
the room(from d.cn)
the room(from d.cn)
我们同样也缺少足够的钱去支付专业的市场营销或PR。但是依靠着苹果的App Store的
推荐，我们这款基于7万英镑预算的游戏获得了超乎预期的成功。
在对于我们所获得的成绩的评价时，我发了一条tweet表示，也许手机游戏在免费玩家
之间的盈利战导致开发社区更加依赖于“数据之谈”，同时渐渐忽视了一款优秀的游戏
会对玩家产生怎样的影响。关于开发者一味地追求娱乐而不是... 阅读全帖 |
|
|
i**e
发帖数: 19242 | 30 IQ肯定是outliers
看看娃的运是不是正赶上时候，赶上了肯定就是outlier |
|
g***y
发帖数: 2942 | 31 其实啥说白了就是个推。伟大的outliers不也说了，要成功，就得推，要么生在一个推
的文化民族，要么长在一个有钱有精力的推的家庭，要么有一个有眼光有魄力的推的妈
，要么赶上机会了创造了自推的条件，然后就一堆堆看似随机的人华丽丽的在推的万丈
光芒下成outliers了。 |
|
l*******e
发帖数: 3566 | 32 outliers还没看完呢。现在看书太慢，有时候就在网上闲逛，时间很快就过去了。
等我看完outliers再来看。
你先看一看，大致说说写什么的。 |
|
i**e
发帖数: 19242 | 33 我个人觉着，outliers都是命，推不出来的；
能学得精神就是，天道酬勤，
做什么如果想成功（还不见得是outliers的成就），不持之以恒是不行的；
看unconditional parenting 或者 what does it mean to be well educated 吧
这俩本比较着重于parenting，education，我个人感觉收益比较大 |
|
l*******e
发帖数: 2431 | 34 我看过的数据显示蒙校优势会迟续到初中，但是逐年淡化
这个呢，一方面说明早教无益，但是另一方面，和outliers
的一些观点冲突。outliers认为，优势会扩大化，所以初入学时
几个月的年龄差距，将最终导致academic performance的差别。 |
|
|
t********r
发帖数: 4908 | 36 ☆─────────────────────────────────────☆
InStyle (精致生活--每天只吃1600卡) 于 (Thu Jan 7 17:36:20 2010, 美东) 提到:
大家好, 多谢eml和ff, 上来先问问题.
儿子上K了. 邻居说现在就得计划暑假了, 因为到二月份, 好的地方就都满了.
option有几个:
1. daycare center的summer program, $278/week. reg fee $75. 这个, 有儿子的同
学在里面, 估计他会最喜欢去. 还有个好处是管午饭. 坏处是太像daycare了.
2. YMCA的summer camp, $199/week. membership fee不详. 好处是运动多, 坏处是老
师就是高中生21, 不管孩子.
3. town里的各种camp. 借钱在$200-$300/week之间. 好处是看说明觉得很好玩, 坏处
是一个camp只有一周, 得花差着上, 而且不是每周都有camp.
我看"outlier"那本书说, 过个暑假, 穷养的孩子和富养的孩子的差别就出来了.... 阅读全帖 |
|
l*******e
发帖数: 3566 | 37 这个娃发展好，家长上心，这个是毋庸置疑的。
我的回帖在当时的语境下，是想说孩子的一生很长，没必要很早就给娃下了结论。160
当然不是平均数，大家都知道。但是大家还知道，当智商上了一定的阈值，（outliers
里面说的是130还是120？），多出来的这些智商不再成为将来成功的重要因素，其他一
些因素也很重要，甚至更重要（参见outliers第三章第四章）。 |
|
|
t********r
发帖数: 4908 | 39 ☆─────────────────────────────────────☆
sunnygirl (写意一点) 于 (Mon May 10 21:10:35 2010, 美东) 提到:
Montessori Parent Teacher conference, 我满心欢喜地等着被表扬去的，
毕竟我们的reading在班里是数一数二的，又从来不给老师惹麻烦，
可是优点被老师一笔带过，
she has many talents and she is able to finish lots of lessons in a short
time,
但是(a vely vely big 但是)，她表达起来太不自信了，要她总结书上的内容，她非常
hesitant，老是想揣摩我的意思, 而不是她自己的想法
然后，语重心长地告诉我：
"你们的Chinese afterschool是不是教太多东西了？回家以后一定不要再教东西了!!"
"让她和你一起洗碗擦桌子收拾房间做饭"//羞愧致死，这些都被婆婆抢去做了
"然后一起talk about the fun things you'be been ... 阅读全帖 |
|
p**g
发帖数: 4595 | 40 and ur 2nd data point is an outlier...555
//outlier crying hard |
|
e****a
发帖数: 4783 | 41 【 以下文字转载自 Living 讨论区 】
发信人: RockU (健康胖胖), 信区: Living
标 题: 9万坑的终级精辟总结!!!
发信站: BBS 未名空间站 (Fri Oct 15 12:24:45 2010, 美东)
老中还是牛，收入是北美平均的2倍. 样本如下
不知20万坑的效果会如何。
有钱的大佬们发个包子给我吧。
macroarray (片子), $90,000 9w
laoying (大老虎), $80,000 8w
monkeylady (MonkeyQueen), $80,000 我们2人还没有9万呢
Huan2007 (胡绵涛) outlier 到我家院子挖现金吧
houselooking (房子已找到) $200,000 我家年收入20万
illinois (伊利诺伊), $250,000 2 人> 25w,
bia (bia), outlier 买了一架小飞机
chubaka (chuba), $30,000 我们家两万... 阅读全帖 |
|
|
h*h
发帖数: 27852 | 43 革命早期参加的人，都是统计学上的outlier |
|
h*******s
发帖数: 651 | 44 能不能看看毛泽东时代人家寿命从1952（经济基本恢复）到1961年的寿命增长？
大概十年间，中国人均寿命增长情况？谢谢
1949，是大规模内战时期，不是正常状态，是outlier。 |
|
R***r
发帖数: 3519 | 45 同意。我自己没讲明白。刚刚就是从某一个outlier的角度想。
对，一般人并不是在哪里都一样的。或者这样讲，自食其力的生活在民主制度下会更好。 |
|
R***r
发帖数: 3519 | 46 这种outlier的只会存在海外华人网，在国内一定被干掉了，either by ccp，or by
the crowd. |
|
g*********r
发帖数: 9366 | 47 我没说我有优势
我所说的几条都是从统计角度讲的， 而我本人是向下的outlier
另外你真的out 了， 现在城市都喜欢小棉袄了， 当然没人打胎了
男女比例接近自然值
但是你要去读一读有关人口的书就知道了，婴儿比例106:100 到成人之后就1:1了，因
为男婴和男孩死亡率高
还有就是男孩成年之后流动性大 |
|
k*****e
发帖数: 22013 | 48 你可太牛逼了
两个列表的数据就摆在你面前
竟然还能睁着眼睛说：“民主和廉洁没有关系”
相关系数算出来是0.7，要是还不懂这0.7代表什么，
再给你一个图，看着这个图还能说出“没有关系”这种话来，
这就不是眼瞎了，而是心瞎了。
面对符合规律的绝绝绝大多数例子视而不见，
挖空心思地找极极极少数的outlier来论证自己的观点，
这难道就是你引用数据的方式？ |
|
g*********r
发帖数: 9366 | 49 哥给你说，做事情态度要正确，不要硬凹。先立论点再从ｏｕｔｌｉｅｒ中找论据是不
成的。
我那个根本不是啥梯队，我随便大致扎堆罗列的， 关键看国家名称和廉洁度数字，你
这个有啥看不懂的呢？
我所给出的数据证明，基本上民主国家廉洁度高，而非民主国家，即使如中东油桶那种
富裕国家（理论上应该腐败很少的地方）， 廉洁度都不够高
这很说明问题， 你非要选outlier去做对比，而不看大多数数据的意义，那谁也没办法
不过我想任何人看了给的数据都能明白民主程度高的国家一般更廉洁这个事实 |
|
e**i
发帖数: 1983 | 50 ————————————————————————————————————
发信人: erli (打狗要打恶魔主，搏虎当向虎山寻！), 信区: Headline
标 题: Re: 温家宝:执政十年,我们有两件事做得比较出色(图)
发信站: BBS 未名空间站 (Wed Apr 25 19:33:19 2012, 美东)
薄熙来一家绝对不会有姜维平和轮子们造谣的80亿人民币家产，这点我敢拿命和人赌！
薄熙来谷开来薄瓜瓜一家，因为谷开来律师和写书收入（主），外加薄熙来的工资（辅
），我估计在1千万人民币左右，撑死了不会超过1亿人民币，顶天了！
而温家宝一家，不说“45年没谋过私利”的温家宝和他的高级翡翠连锁珠宝公司老婆张
培莉、地产弟弟温家宏，就说温云松通过新天域圈的钱，就他一个人在其中的所得，80
亿不敢说，但绝对不会少于8亿人民币，这点我也敢拿命和人赌！
http://www.mitbbs.com/pc/pccon_11403_t0_216251.html
温云松、新天域，全天下都知道，又能怎样？！（含资料）——Re: 民之所欲，可在你
心？民之战鼓，荡气回肠。
http://www.... 阅读全帖 |
|
