K****n 发帖数: 5970 | 1 以前苦逼做生物实验,都是苦恼为啥不significantly different,算statistical
power的时候都是感叹,靠,还要多做那么多个实验才能出结果。
最近被逼研究啥big data,泥马随机搞点儿数据就significantly different,从公式
角度倒是很好理解,但是还是觉得奇怪,搜索了一下,原来也是有人苦恼数据太多的。
真是天上地下啊。 |
s*****j 发帖数: 6435 | 2 你现在倒底是苦恼还是不苦恼?
【在 K****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 以前苦逼做生物实验,都是苦恼为啥不significantly different,算statistical : power的时候都是感叹,靠,还要多做那么多个实验才能出结果。 : 最近被逼研究啥big data,泥马随机搞点儿数据就significantly different,从公式 : 角度倒是很好理解,但是还是觉得奇怪,搜索了一下,原来也是有人苦恼数据太多的。 : 真是天上地下啊。
|
K****n 发帖数: 5970 | 3 对啊,我现在到底是苦恼还是不哭闹呢,想significant就significant,好像是一件值
得庆祝的事啊?
大家坦白地说,是不是都很羡慕我?大牛们给评评?
【在 s*****j 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你现在倒底是苦恼还是不苦恼?
|
w*****r 发帖数: 2061 | 4 外行看那些bioinfo的p-value,有的实在受不了,举例 p < 10^-23
【在 K****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 以前苦逼做生物实验,都是苦恼为啥不significantly different,算statistical : power的时候都是感叹,靠,还要多做那么多个实验才能出结果。 : 最近被逼研究啥big data,泥马随机搞点儿数据就significantly different,从公式 : 角度倒是很好理解,但是还是觉得奇怪,搜索了一下,原来也是有人苦恼数据太多的。 : 真是天上地下啊。
|
q******g 发帖数: 3858 | 5 无论多么significant,也要用其他方法验证吧。 |
K****n 发帖数: 5970 | 6 bioinfo太过分了!想当年 p<0.1我就高兴得睡不着了
【在 w*****r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 外行看那些bioinfo的p-value,有的实在受不了,举例 p < 10^-23
|
K****n 发帖数: 5970 | 7 除了统计,还有啥方法?
【在 q******g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 无论多么significant,也要用其他方法验证吧。
|
W***o 发帖数: 6519 | 8 反正我是羡慕嫉妒恨
【在 K****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 对啊,我现在到底是苦恼还是不哭闹呢,想significant就significant,好像是一件值 : 得庆祝的事啊? : 大家坦白地说,是不是都很羡慕我?大牛们给评评?
|
l**********1 发帖数: 5204 | 9 quantum computing hard and soft both infrastructure
【在 K****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 除了统计,还有啥方法?
|
s*****j 发帖数: 6435 | 10 忘记谁说得了. 只要能 fit your story, 是一件值得庆祝的事
【在 K****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 对啊,我现在到底是苦恼还是不哭闹呢,想significant就significant,好像是一件值 : 得庆祝的事啊? : 大家坦白地说,是不是都很羡慕我?大牛们给评评?
|
|
|
e*******o 发帖数: 4654 | 11 lz 黑生物的吗。
分类上有时候看一个虫子就命名新种了。当时我刚学过统计觉得不可思议。 |
K****n 发帖数: 5970 | 12 没关系没关系,每个人的生活都有自己的亮点
【在 W***o 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 反正我是羡慕嫉妒恨
|
K****n 发帖数: 5970 | 13 靠不太懂
【在 l**********1 的大作中提到】![](/moin_static193/solenoid/img/up.png) : quantum computing hard and soft both infrastructure
|
K****n 发帖数: 5970 | 14 是不是施一工老师说的
【在 s*****j 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 忘记谁说得了. 只要能 fit your story, 是一件值得庆祝的事
|
K****n 发帖数: 5970 | 15 您这个说法这才是黑生物吧。俺生是生物的人,死是生物的死人
【在 e*******o 的大作中提到】![](/moin_static193/solenoid/img/up.png) : lz 黑生物的吗。 : 分类上有时候看一个虫子就命名新种了。当时我刚学过统计觉得不可思议。
|
b*******n 发帖数: 8420 | 16 人家处理GB TB级别的数据也不容易是吧
【在 K****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : bioinfo太过分了!想当年 p<0.1我就高兴得睡不着了
|
c*****n 发帖数: 46 | 17 significance level 和 p value 对应的是type I error,也就是 incorrect
rejection when null hypothesis is true. 如果样本数很大的话,是很容易得到非常
小的 p value. 原因很简单, 你们的 null hypothesis 太强了。 两组样本完全一致
? 即使参考组控制的再好,这也是不可能的。大样本下,不考虑测量误差和模型误差
,p value 基本没有意义。
另外,statistical power 对应的是type II error, failure in rejecting false
null hypothesis 吧? 同样的样本数做测试,significance level 取的越小, type
I error 的概率变小,但是 type II error 的概率会同时变大。两者之间是要权衡一
下的。
我有认识的实验室做生物的,看他们用统计用的,很无语啊。 |
c*****n 发帖数: 46 | 18 做统计的时候大致有三种误差 sample uncertainty, model uncertainty and
measurement uncertainty. 如果模型和测量没什么大问题,小样本一般就是sample
uncertainty dominates. 但是到了 TB 级的数据,sample uncertainty 显然很小了。
这时候后两者无论如何就不能忽略了。
type
【在 c*****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : significance level 和 p value 对应的是type I error,也就是 incorrect : rejection when null hypothesis is true. 如果样本数很大的话,是很容易得到非常 : 小的 p value. 原因很简单, 你们的 null hypothesis 太强了。 两组样本完全一致 : ? 即使参考组控制的再好,这也是不可能的。大样本下,不考虑测量误差和模型误差 : ,p value 基本没有意义。 : 另外,statistical power 对应的是type II error, failure in rejecting false : null hypothesis 吧? 同样的样本数做测试,significance level 取的越小, type : I error 的概率变小,但是 type II error 的概率会同时变大。两者之间是要权衡一 : 下的。 : 我有认识的实验室做生物的,看他们用统计用的,很无语啊。
|
e*******o 发帖数: 4654 | 19 高人!measurement uncertainty 最近分析自己数据,怀疑过这个问题,不过没接触过
相关的概念,哪本书讲这些?谢谢。
【在 c*****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 做统计的时候大致有三种误差 sample uncertainty, model uncertainty and : measurement uncertainty. 如果模型和测量没什么大问题,小样本一般就是sample : uncertainty dominates. 但是到了 TB 级的数据,sample uncertainty 显然很小了。 : 这时候后两者无论如何就不能忽略了。 : : type
|
e*******o 发帖数: 4654 | 20 理想的状况是,生物的搞生物,统计的搞统计。主要是一般的实验室请不起,
Statistician, 生物的只好两者都搞。
【在 c*****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 做统计的时候大致有三种误差 sample uncertainty, model uncertainty and : measurement uncertainty. 如果模型和测量没什么大问题,小样本一般就是sample : uncertainty dominates. 但是到了 TB 级的数据,sample uncertainty 显然很小了。 : 这时候后两者无论如何就不能忽略了。 : : type
|
|
|
c*****n 发帖数: 46 | 21 Carroll 的那本 measurement error in nonlinear models 就挺好。Fuller 那本有点
老了,而且我觉得讲的过于偏重方法本身了。
【在 e*******o 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 高人!measurement uncertainty 最近分析自己数据,怀疑过这个问题,不过没接触过 : 相关的概念,哪本书讲这些?谢谢。
|
e*******o 发帖数: 4654 | 22 这个太专了。估计统计的硕士都学不那么深。
我说的有些不清楚。
我需要的是那种提纲挈领,能建立框架的。比如你说的
做统计的时候大致有三种误差 sample uncertainty, model uncertainty and
measurement uncertainty. 如果模型和测量没什么大问题,小样本一般就是sample
uncertainty dominates. 但是到了 TB 级的数据,sample uncertainty 显然很小了。
这时候后两者无论如何就不能忽略了。
看了之后,一下子明白,以前没考虑那些东西了。
【在 c*****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : Carroll 的那本 measurement error in nonlinear models 就挺好。Fuller 那本有点 : 老了,而且我觉得讲的过于偏重方法本身了。
|
b*****n 发帖数: 685 | 23 很多是因为multiple comparison没有做adjustment而已,不奇怪。
【在 w*****r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 外行看那些bioinfo的p-value,有的实在受不了,举例 p < 10^-23
|
K****n 发帖数: 5970 | 24 哇这个指导真是高屋建瓴啊。那么在实际生活中,model uncertainty和measurement
uncertainty应当咋样解决呢?
【在 c*****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 做统计的时候大致有三种误差 sample uncertainty, model uncertainty and : measurement uncertainty. 如果模型和测量没什么大问题,小样本一般就是sample : uncertainty dominates. 但是到了 TB 级的数据,sample uncertainty 显然很小了。 : 这时候后两者无论如何就不能忽略了。 : : type
|
K****n 发帖数: 5970 | 25 我这一辈子还是头一回过“null hypothesis太强了”的日子呢,“参数组控制的再好
”,也能查出来不同这个事情对我来说真是有点儿shock,我以前的直觉是,从10亿只
果蝇里,随机取1亿只果蝇,随机再取1亿只果蝇,这两组的翅膀长度肯定不是
statistically different的。大家真诚滴说,上帝也不会发现这个model uncertainty
吧。如今真是毁三观啊。
statistical power这个我总算明白了。
如果样本很大的情况,有没有null hypothesis不强的选法?
type
【在 c*****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : significance level 和 p value 对应的是type I error,也就是 incorrect : rejection when null hypothesis is true. 如果样本数很大的话,是很容易得到非常 : 小的 p value. 原因很简单, 你们的 null hypothesis 太强了。 两组样本完全一致 : ? 即使参考组控制的再好,这也是不可能的。大样本下,不考虑测量误差和模型误差 : ,p value 基本没有意义。 : 另外,statistical power 对应的是type II error, failure in rejecting false : null hypothesis 吧? 同样的样本数做测试,significance level 取的越小, type : I error 的概率变小,但是 type II error 的概率会同时变大。两者之间是要权衡一 : 下的。 : 我有认识的实验室做生物的,看他们用统计用的,很无语啊。
|
c*****n 发帖数: 46 | 26 挨个建模呗, 很大的工作量也要很多$$.我做的的方向因为测量误差很大,有时能到一
两个COV, 所以这方面考虑比较多。大多数地方可能随便估估就凑活了吧,educated
guess.
【在 K****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 哇这个指导真是高屋建瓴啊。那么在实际生活中,model uncertainty和measurement : uncertainty应当咋样解决呢?
|
c*****n 发帖数: 46 | 27 随便举个例子吧。测试两个单位方差的正态分布是否均值一致, 各取 1e4 个 sample,
sample mean 的差别大概 0.06 左右就p value 就 0.05 了吧。假设现在有一边的测
量值有个很小的 0.1的 bias 你没考虑,那你算 p value有什么意义?
当 sample 数只有 25 个, 同样的 p value 大概对应 sample mean difference 1.1,
这时候 0.1 的测量误差就无所谓了。数字可能记得不对,意思在那儿。
说到底,hypothesis testing 就是个 decision making process under
uncertainties, 看你需要的是什么了。
我其实觉得这种 H0: x = x_0 的 null hypothesis 很不靠谱, 也就是我之前说的太
强了。 我们一般用 |x-x_0|
confidence level 的选择不是统计上的考虑,而是实际的需求了, 譬如系统就是这么
设计的,超出了就要做 maintenance 就要花钱。 生物上的具体考虑我就不清楚了。
uncertainty
【在 K****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我这一辈子还是头一回过“null hypothesis太强了”的日子呢,“参数组控制的再好 : ”,也能查出来不同这个事情对我来说真是有点儿shock,我以前的直觉是,从10亿只 : 果蝇里,随机取1亿只果蝇,随机再取1亿只果蝇,这两组的翅膀长度肯定不是 : statistically different的。大家真诚滴说,上帝也不会发现这个model uncertainty : 吧。如今真是毁三观啊。 : statistical power这个我总算明白了。 : 如果样本很大的情况,有没有null hypothesis不强的选法? : : type
|
c*****n 发帖数: 46 | 28 还是你的例子,假设所有十亿果蝇翅膀长度独立同分布,选取也是绝对随机。当测量的
个数到一亿只这个数量级的时候,影响你判断结果的绝对是测量的稳定性了。前面一亿
只你测的, 后面一亿只你同事测的, significance level 取 0.05 的话,结果基本
上就会是 significantly different。但是这不是果蝇翅膀长度的有差别,是你和你同事
之间的差别。
uncertainty
【在 K****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我这一辈子还是头一回过“null hypothesis太强了”的日子呢,“参数组控制的再好 : ”,也能查出来不同这个事情对我来说真是有点儿shock,我以前的直觉是,从10亿只 : 果蝇里,随机取1亿只果蝇,随机再取1亿只果蝇,这两组的翅膀长度肯定不是 : statistically different的。大家真诚滴说,上帝也不会发现这个model uncertainty : 吧。如今真是毁三观啊。 : statistical power这个我总算明白了。 : 如果样本很大的情况,有没有null hypothesis不强的选法? : : type
|
n******7 发帖数: 12463 | 29 原来你也是做实验的人啊
我觉得随机背景的设置很关键,绝大部分时候,都不是很完美,所以pv小很正常
另外,effect size也很重要,类似于differential expression分析,pv再小,fold
change很小也没啥意义
【在 K****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 以前苦逼做生物实验,都是苦恼为啥不significantly different,算statistical : power的时候都是感叹,靠,还要多做那么多个实验才能出结果。 : 最近被逼研究啥big data,泥马随机搞点儿数据就significantly different,从公式 : 角度倒是很好理解,但是还是觉得奇怪,搜索了一下,原来也是有人苦恼数据太多的。 : 真是天上地下啊。
|
n******7 发帖数: 12463 | 30 很明白的例子,thanks
感觉这个e的选择,就根据measurement uncertainty 来就好?
sample,
1,
【在 c*****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 随便举个例子吧。测试两个单位方差的正态分布是否均值一致, 各取 1e4 个 sample, : sample mean 的差别大概 0.06 左右就p value 就 0.05 了吧。假设现在有一边的测 : 量值有个很小的 0.1的 bias 你没考虑,那你算 p value有什么意义? : 当 sample 数只有 25 个, 同样的 p value 大概对应 sample mean difference 1.1, : 这时候 0.1 的测量误差就无所谓了。数字可能记得不对,意思在那儿。 : 说到底,hypothesis testing 就是个 decision making process under : uncertainties, 看你需要的是什么了。 : 我其实觉得这种 H0: x = x_0 的 null hypothesis 很不靠谱, 也就是我之前说的太 : 强了。 我们一般用 |x-x_0|: confidence level 的选择不是统计上的考虑,而是实际的需求了, 譬如系统就是这么
|
|
|
l***y 发帖数: 4671 | 31 赞一个。
另外,statistical significance 并不意味着真正的生物意义上的重要性。这只是在
做结论时的一个必要条件而已。
type
【在 c*****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : significance level 和 p value 对应的是type I error,也就是 incorrect : rejection when null hypothesis is true. 如果样本数很大的话,是很容易得到非常 : 小的 p value. 原因很简单, 你们的 null hypothesis 太强了。 两组样本完全一致 : ? 即使参考组控制的再好,这也是不可能的。大样本下,不考虑测量误差和模型误差 : ,p value 基本没有意义。 : 另外,statistical power 对应的是type II error, failure in rejecting false : null hypothesis 吧? 同样的样本数做测试,significance level 取的越小, type : I error 的概率变小,但是 type II error 的概率会同时变大。两者之间是要权衡一 : 下的。 : 我有认识的实验室做生物的,看他们用统计用的,很无语啊。
|
l***y 发帖数: 4671 | 32 理想的情况是,统计是做任何 research 的基础,必须人人过关。
还见到很多专门学统计学的人,对如何搞证明听清楚的,却不知道该如何正确使用统计
工具。统计学和统计真是两码事啊。
真心觉得统计课应当作为各学校的必修课啊。
【在 e*******o 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 理想的状况是,生物的搞生物,统计的搞统计。主要是一般的实验室请不起, : Statistician, 生物的只好两者都搞。
|
M*P 发帖数: 6456 | 33 你确定你说的这个跟一般的confident interval 有区别?
sample,
1,
★ 发自iPhone App: ChineseWeb 7.8
【在 c*****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 随便举个例子吧。测试两个单位方差的正态分布是否均值一致, 各取 1e4 个 sample, : sample mean 的差别大概 0.06 左右就p value 就 0.05 了吧。假设现在有一边的测 : 量值有个很小的 0.1的 bias 你没考虑,那你算 p value有什么意义? : 当 sample 数只有 25 个, 同样的 p value 大概对应 sample mean difference 1.1, : 这时候 0.1 的测量误差就无所谓了。数字可能记得不对,意思在那儿。 : 说到底,hypothesis testing 就是个 decision making process under : uncertainties, 看你需要的是什么了。 : 我其实觉得这种 H0: x = x_0 的 null hypothesis 很不靠谱, 也就是我之前说的太 : 强了。 我们一般用 |x-x_0|: confidence level 的选择不是统计上的考虑,而是实际的需求了, 譬如系统就是这么
|
e*******o 发帖数: 4654 | 34 我那个说法有为生物的推脱的嫌疑。
我自己也是这么做的。统计貌似是必修课,不过学了,我也是一团浆糊。只会几个方法。
生物的PHD 应该强制修个统计,或者CS 的master,有了master 才给qualify。这样从
业者的水准会提高,那些不想搞下去的也有些活路。
【在 l***y 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 理想的情况是,统计是做任何 research 的基础,必须人人过关。 : 还见到很多专门学统计学的人,对如何搞证明听清楚的,却不知道该如何正确使用统计 : 工具。统计学和统计真是两码事啊。 : 真心觉得统计课应当作为各学校的必修课啊。
|
e*******o 发帖数: 4654 | 35 一样的。H0: x = x_0 的 null hypothesis,有双边和单边之分。双边就是你说的|x-x
_0|
有时候双边对我们没意义,比如我们测某种药,我们需要证明他的效果比control 好。
我们要的是 |x-x_0|> e with confidence xx%。恰好想反。如果没区别,实验有时候
基本白做了。 |
c*****n 发帖数: 46 | 36 对啊,p value 和 confidence level 本来就是可以互相转换的。主要是计算他们的值
的时候,各种uncertainties 是否考虑周全了。 个人偏向于用 confidence interval,
也就是相当与弱一点的null hypothesis, 觉得解释起来方便一点,而且也方便于和
Bayesian 的那一堆结果比较。
-x
【在 e*******o 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 一样的。H0: x = x_0 的 null hypothesis,有双边和单边之分。双边就是你说的|x-x : _0|: 有时候双边对我们没意义,比如我们测某种药,我们需要证明他的效果比control 好。 : 我们要的是 |x-x_0|> e with confidence xx%。恰好想反。如果没区别,实验有时候 : 基本白做了。
|
K****n 发帖数: 5970 | 37 |x-x_0|
xx_0-e
我昨天还在想怎么算联合分布
interval,
【在 c*****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 对啊,p value 和 confidence level 本来就是可以互相转换的。主要是计算他们的值 : 的时候,各种uncertainties 是否考虑周全了。 个人偏向于用 confidence interval, : 也就是相当与弱一点的null hypothesis, 觉得解释起来方便一点,而且也方便于和 : Bayesian 的那一堆结果比较。 : : -x
|
K****n 发帖数: 5970 | 38 review了一番effect size,ms大多是看standard deviation不看standard error,这
实在是甚和我意。
【在 n******7 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 原来你也是做实验的人啊 : 我觉得随机背景的设置很关键,绝大部分时候,都不是很完美,所以pv小很正常 : 另外,effect size也很重要,类似于differential expression分析,pv再小,fold : change很小也没啥意义
|
K****n 发帖数: 5970 | 39 生物phd将来自己做波士研发新药,专治,疑难杂症。手下一个女秘书,两个
statistician,三个coder。
法。
【在 e*******o 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我那个说法有为生物的推脱的嫌疑。 : 我自己也是这么做的。统计貌似是必修课,不过学了,我也是一团浆糊。只会几个方法。 : 生物的PHD 应该强制修个统计,或者CS 的master,有了master 才给qualify。这样从 : 业者的水准会提高,那些不想搞下去的也有些活路。
|
K****n 发帖数: 5970 | 40 o phark, 我brain farting了
这和confidence interval是一样的
【在 K****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : |x-x_0|: xx_0-e : 我昨天还在想怎么算联合分布 : : interval,
|
|
|
e*******o 发帖数: 4654 | 41 Frequency 的方法 和 Bayesian 的方法的差别能归到 model uncertainty 里去?
interval,
【在 c*****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 对啊,p value 和 confidence level 本来就是可以互相转换的。主要是计算他们的值 : 的时候,各种uncertainties 是否考虑周全了。 个人偏向于用 confidence interval, : 也就是相当与弱一点的null hypothesis, 觉得解释起来方便一点,而且也方便于和 : Bayesian 的那一堆结果比较。 : : -x
|
e*******o 发帖数: 4654 | 42 一个女秘书就好了,其它的都好说。
-wsn
【在 K****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 生物phd将来自己做波士研发新药,专治,疑难杂症。手下一个女秘书,两个 : statistician,三个coder。 : : 法。
|
b******3 发帖数: 377 | 43 听君一席话,胜读十年书啊!
type
【在 c*****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : significance level 和 p value 对应的是type I error,也就是 incorrect : rejection when null hypothesis is true. 如果样本数很大的话,是很容易得到非常 : 小的 p value. 原因很简单, 你们的 null hypothesis 太强了。 两组样本完全一致 : ? 即使参考组控制的再好,这也是不可能的。大样本下,不考虑测量误差和模型误差 : ,p value 基本没有意义。 : 另外,statistical power 对应的是type II error, failure in rejecting false : null hypothesis 吧? 同样的样本数做测试,significance level 取的越小, type : I error 的概率变小,但是 type II error 的概率会同时变大。两者之间是要权衡一 : 下的。 : 我有认识的实验室做生物的,看他们用统计用的,很无语啊。
|