T*******I 发帖数: 5138 | 1 稳健回归的开创者、美国著名的统计学家、前美国总统科技顾问Peter John
Huber于1997年11月在北京中国科学院数理统计研究所演讲时说道:“很多数学背景的统
计学家们在统计学领域犯下了严重的错误,导致了很多思想和方法上的混乱。”他并期待
着一股来自数学以外的力量能够推动统计学和数学的变革。
听到这个演讲内容和观点后,我的第一感觉是,如果这个力量存在的话,那么,它
只能是哲学,因为哲学是人类一切知识的认识论和方法论根源,因而也是一切知识的终
极裁决者。
一个学统计的,如果不懂哲学,便如一个在黑暗中摸索的瞎子。对于在黑暗中感到
困顿的人,哲学将会开启他的智慧,并赋予他一盏明亮的灯,照亮他前进的道路。
最近试图与几位著名的数学背景的统计学家交流自己的思想,但无一愿意给出有价
值的东西,他们基本采取了沉默不语或不屑理睬的态度。为此,我把试图与他们交流的东
西发表在这里,作为对整个系统的挑战之一。这个挑战将一直存在于这里,以便人们可以
观瞻这一科学史上的悲剧。
Dear Dr. XXX
您能够解答我的以下两个困惑吗?
我在长达近14年多的时间里做的是关于临界回归分析或分段回归分析(
segmented regression or piecewise regression)的逻辑与算法的重建。我之所以坚
持不懈地这样做,是因为我相信没有一套数学公理系统可以演绎出这个方法论,而当前
的方法论存在严重的理论错误。这个领域里最困扰我的问题有以下两个:
第一,在基于样本测量的基础上在样本可测空间上搜索未知临界点时,目前的
经典方法论是以随机分段模型组中最小合并预测残差(min(combined residuals))作
出一组“最优”的模型决策,也就是所谓的最优化决策。我想请问,这个决策的数学根
据是什么?谁已经或能够从概率论上证明那个最小合并预测残差与所谓的“最优临界模
型组”的随机参数集合之间的对应是一个“可期望的”或“可靠的”对应,或者说,上
述两个随机测度的收敛在各自的可测空间上具有概率上最大且充分的一致性。
我从直觉上看这个对应是不可期望的,因为无论是最小合并预测残差,还是对应
于它的随机临界模型组的各个统计量都是随机的“点”测量,它们之间的对应关系就好
比我们在一定的样本量条件下得到的一组同质人群的身高与体重之间的随机的点对应一
样。如果我们的研究目的是试图用“身高”这个随机变量来对“体重”这个随机变量的
某个属性做出统计决策,我们显然是不可能使用min(身高)或max(身高)来做出一个关于
“体重”的那个属性的稳定而可靠的决策的。这样的“最优化”在统计学上是绝对不可
接受的,因为,If we could use min(X) or max(X) to make a statistical
decision for Y, where both X (maybe an optimizer) and Y (maybe a set of
parameters of a set of threshold models) are randomly variable, then all the
fundamentals of Statistics would be collapsed.
第二,关于spline技术在临界回归分析中的应用。这里有一个前提假设,即所谓
的enforced continuity,这个假设是以数学函数理论求解临界点的关键条件。没有这
个假设的给定,就无法使用解联立方程组的方法求解未知临界点。但是,从统计学的角
度,如果一个总体中存在一个临界点,那么,在随机抽样的条件下,在样本临界点(如
果它可以被以另外的方法估计出来的话)附近的两个临界模型间将必然存在一个抽样的
连接变异(这是一个确定性的存在),至于这个连接变异有多大多小,nobody knows(
这是一个非确定性的存在),从而,我们不可以强制性地预设那个”连续性“来建立一
套方法论。反之,如果坚持采用那个强制连续性的假设,就等于是用一个确定性的假设
来否决了一个确定性的存在,并以假定的方式肯定了一个非确定性的不存在(非确定性
的连接变异 = 0,即肯定了“非确定性的连接变异”的不存在)!这是一个令人惊叹的
低级错误。
If the continuity between two adjacent threshold models is not
inferred in a probability, it is not a statistical method but a mathematical
game with an arbitrary assumption in a certainty for an uncertainty.
所以,我认为以上两个问题可能是统计学方法论发展史上的两个悲剧性错误。我
在2007年和2009年的JSM会议上曾两次谈到了这两个错误,也曾试图投稿发表自己的见
解,却被所有杂志社拒绝了,但却从来没有人对这类拒绝的理由给出任何专业方面的解
释。
上述两个问题我曾请教过哈佛统计系的主任孟晓犁以及当前的Annals of
Statistics的副主编蔡天文,然而,这两位杰出的数学背景的统计学家无一愿意回应。
所以,那两个困惑对于我依然待解,我相信没有哪个数学背景的数理统计学家可以给出
关于它们的肯定的论证,因为它们本是统计学领域的两个谬论,是由于概念缺失导致的
分析逻辑和数学算法上的错误。
人们可以继续无视我所做出的东西,因为作为国内医学院毕业的master-level的
我在统计学领域的credit可以被忽略不计,但问题将依然存在。一些数学家习惯于以他
们的确定性思维模式来解决非确定性领域的问题,这是统计学领域中一切错误和问题的
根源所在。 |
w****o 发帖数: 367 | |
f*******0 发帖数: 693 | |
I*****a 发帖数: 5425 | 4 老陈,这么久你去哪了?
的统
期待
,它
感到
有价
【在 T*******I 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 稳健回归的开创者、美国著名的统计学家、前美国总统科技顾问Peter John : Huber于1997年11月在北京中国科学院数理统计研究所演讲时说道:“很多数学背景的统 : 计学家们在统计学领域犯下了严重的错误,导致了很多思想和方法上的混乱。”他并期待 : 着一股来自数学以外的力量能够推动统计学和数学的变革。 : 听到这个演讲内容和观点后,我的第一感觉是,如果这个力量存在的话,那么,它 : 只能是哲学,因为哲学是人类一切知识的认识论和方法论根源,因而也是一切知识的终 : 极裁决者。 : 一个学统计的,如果不懂哲学,便如一个在黑暗中摸索的瞎子。对于在黑暗中感到 : 困顿的人,哲学将会开启他的智慧,并赋予他一盏明亮的灯,照亮他前进的道路。 : 最近试图与几位著名的数学背景的统计学家交流自己的思想,但无一愿意给出有价
|
j******4 发帖数: 6090 | 5 黑暗中摸索的瞎子,给他一盏明灯他还是在黑暗中摸索的瞎子而已。 |
A*******s 发帖数: 3942 | 6 大师,annals of statistics不管这种问题的。你的问题要写信问anal of statistics
才能得到解答。 |
T*******I 发帖数: 5138 | 7 闭门思过去了。
本以为在这里发一重炮会引发一点波澜,没想到被冷落了好几天。还好,文学城上比较
热闹。万人观战,论战不休。
【在 I*****a 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 老陈,这么久你去哪了? : : 的统 : 期待 : ,它 : 感到 : 有价
|
T*******I 发帖数: 5138 | 8 annals of statistics是统计学领域的旗舰期刊之一。如此基础理论方面的问题都可以
无视,这个期刊在统计学领域还有什么信誉?它还是统计学期刊吗?我怀疑它已经完全
被数学化了。
statistics
【在 A*******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 大师,annals of statistics不管这种问题的。你的问题要写信问anal of statistics : 才能得到解答。
|
p********a 发帖数: 5352 | 9 我在文学城上看到这个标题的时候,第一感觉就是陈大师写的。后来一看,果不其然。 |
B****k 发帖数: 188 | 10
您还是先看懂了数学的描述再说吧,别拿哲学当幌子。。。
哲学在这里只有一个指引方向的作用,拿它来解决具体学科内的问题真是缘木求鱼呀。
【在 T*******I 的大作中提到】![](/moin_static193/solenoid/img/up.png) : annals of statistics是统计学领域的旗舰期刊之一。如此基础理论方面的问题都可以 : 无视,这个期刊在统计学领域还有什么信誉?它还是统计学期刊吗?我怀疑它已经完全 : 被数学化了。 : : statistics
|
|
|
g********s 发帖数: 186 | 11 Tony Cai才没空搭理这种问题呢,别人一年上十篇annals
的统
期待
,它
感到
有价
【在 T*******I 的大作中提到】![](/moin_static193/solenoid/img/up.png) : annals of statistics是统计学领域的旗舰期刊之一。如此基础理论方面的问题都可以 : 无视,这个期刊在统计学领域还有什么信誉?它还是统计学期刊吗?我怀疑它已经完全 : 被数学化了。 : : statistics
|
g********r 发帖数: 8017 | 12 求link
【在 p********a 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我在文学城上看到这个标题的时候,第一感觉就是陈大师写的。后来一看,果不其然。
|
d******g 发帖数: 346 | 13 There it goes: dogs barking don't bite and dogs biting don't bark. |
T*******I 发帖数: 5138 | 14 Here it is
http://blog.wenxuecity.com/myblog/48015/201208/17751.html
with more than 90 dicussions
【在 g********r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 求link
|
T*******I 发帖数: 5138 | 15 这是一个严肃的学术质疑和批判,被质疑和批判者不回应就意味着要么质疑和批判者没
有任何道理,因而不值得理睬;要么被质疑和批判者默认错误的存在。
【在 d******g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : There it goes: dogs barking don't bite and dogs biting don't bark.
|