K****n
发帖数: 5970 | 1 hyperparameter 没有做 generalization 的测试
hyper-hyperparameter overfit 是可以的，如果不可以，可以 overfit hyper-hyper-
hyperparameter
相应的，可以用给 parameter 加 bayesian prior，然后给 prior 的 parameter 加
prior 的 prior，然后加 prior 的 prior 的 prior |
|
p****u
发帖数: 2596 | 2 backtest多少都会有overfit。
而且，根本就没有办法说服别人你的return没有overfit，或者还有可能是你随便编的。
有个办法，show你现在的pay check，如果薪绸高，自然比较能说服你的东西valuable。 |
|
w**********y
发帖数: 1691 | 3 也不全是这样。
我有同事就基本不做任何optimization,所以极少会有overfit. 当然这是不是聪明的做
法有待商榷。
除了overfit, stability也是应该个大问题。就像trend following 直到3年前都挺好
的。
的。
valuable。 |
|
S*********g
发帖数: 5298 | 4 不做optimization =/= 没有overfit
他设计trading rule的时候就是个overfitting的过程 |
|
d******e
发帖数: 7844 | 5 当样本数量很大的时候，这么做没有问题，当样本少的时候就有麻烦了。尤其是高维数
据。
其实普通的KNN overfitting就是很严重，而我也只是拿KNN来做baseline。我导师非要
我弄一个overfitting最小的训练策略然后用这个数据来做baseline。 |
|
A*******s
发帖数: 3942 | 6 if aiming at reducing overfitting/underfitting, you need to use subset
selection methods with generalized error estimation together. PCR alone
doesn't guarantee anything. Overfitting and multicollinearity are not
directly related even though both usually occur when the model has too many
variables. |
|
A*******s
发帖数: 3942 | 7 民科不民科，看得不仅仅是懂不懂科学的原理，还要看是不是用科学的方法来研究问题
。老陈不懂推理没啥问题，对自己的方法做个严谨一点的simulation和empirical
study也行。我要是没记错的话，一年前就有人叫他做validation来验证他的
regression model是不是overfitting，但是老陈一年后还不懂validation和
overfiting是个啥东西，还放言我不懂validation，所以validation对我的理论不重要
。板上的大牛weekendsunny逐一帮他解释他乱用的数学术语，他丝毫不在意，还是乱用
一气；另一个大牛Drburnie帮他做了literature review，他说这些paper根本不值得看
。他连民科都不是，就是一个偏执狂。 |
|
l***o
发帖数: 5337 | 8 大师啊，你在陈氏领域里可能是对的，by definition。但在statistics领域里，
你连自己该干什么都没搞清楚。
按你的逻辑，世界上到底有没有overfitting的问题？如果你能理解什么是overfitting
的话。。。
concept in
say
never what
you
knows its |
|
T*******I
发帖数: 5138 | 9 你这段陈述里没提什么问题啊。仅仅隐含了一些提问的要素。我很难一下全部归纳出来
。所以无法回答你。
关于overfitting和validation的问题，我的基本态度依然是那样的。在我建议的三分
回归分析法中，每个临界点是一个加权的期望估计，意味着只有对应着这个期望的临界
点集合的三分模型才是期望的三分模型。它是在全样本空间的基础上得到的一个充分估
计。
如果说由LOESS法中的locally weighting得到的永远是一套非充分的统计量，那么，这
样的临界模型是需要被validated的，但我的方法给出的结果不是这样的。
正如我问过精算兄的那个问题：推崇CV的人如何从逻辑上解释一个非充分的统计模型（
即training model）与一个充分统计模型（即全样本模型）间的差异，为什么我们要化
大气力对一个非充分的统计模型做validation? 而不直接建一个充分的统计模型？这个
问题怎么解释？
其实，在你提出的下面的例子中，TA给分和教授因TA无法履行职责不得不自己给分是可
以定义出两个不同的“总体”的。
you
you
should include the covariate... 阅读全帖 |
|
s*****r
发帖数: 790 | 10 it is such a simple question. I didn't request your complete answer, just
your thought.
basically, you have to fit the data in the first 100 scores, by your method,
there will be overfitting. and you have to check your result in the other
100 scores, this is a validation. finally, it is the generalization to the
larger population.
Three fundamental concepts (I don't think it is statistics only) here:
overfitting, validation, and generalizeability. |
|
g********r
发帖数: 8017 | 11 不是。我的是array数据，只有几百sample。
我一直没明白的是SVM在这种可以overfit的情况下是不是能帮助variable selection，
还是找到一个overfit的解就停下了？ |
|
l***a
发帖数: 12410 | 12 这个overfitting也是在m很大的情况下吧？同样那个int unstable是不是就是
overfitting的结果？ |
|
D******n
发帖数: 2836 | 13 good thing about binning is it is like doing some non-linear transformation.
bad thing is overfitting, between each level it is overfitting and within
each level it is under-fitting. |
|
d******e
发帖数: 7844 | 14 来自主题: Statistics版 - 问个面试题 nonparametric的function class更大，换句话说，effective parameter数量会随着
sample size增长而增长，所以Modelling能力更强。
同时这个优点也是缺点，容易产生overfitting，换句话说，bias小,variance大。
parameter的function class是fixed，所以modelling能力有限。bias大，variance小
，不容易overfitting。 |
|
D**u
发帖数: 288 | 15 my .02
nn tend to overfit, and you have to find correct number of layers and tune
the parameters to get the best of it. just use nn when you think there is
major non-linear predictors, when nn should perform better than lr.
If the linear predictors are powerful already, then lr should be as good as
any models(when they best tuned) and less overfit than nn.
Try generalized boosting regression or other ensemble methods if you want to
beat lr, maybe you can but I doubt the improvements would be sig... 阅读全帖 |
|
|
Z*******n
发帖数: 694 | 17 对，我也是怀疑overfitting。
但是困扰我的问题是，我把400,000个例子随机分成train/test，为什么没有
overfitting?
我检查过，两个模型（随机分成train/test； vs 前１２个月train,后两个月test)
的变量选择(variable selection)都几乎一样：６０个变量中的３０＋个变量被选上。 |
|
E**********e
发帖数: 1736 | 18 我现在在一个小的私人公司做risk modeling才半年多。前半年觉得自己做得很不错。
可是现在越觉得有很多问题很疑惑，现在抛出来，请有经验的大侠指导。
公司是做loan lending的小公司，比较新， 积累的charge off 数据4000不到， 这个
跟大银行动辄一两个million 的数据不一样。 modeling的数据不是很好。我就不自爆
奇丑了，主要表现是training 和test的AUC差别很大， 有很大overfitting。
现在问题来了。假设数据分成三个部分，数据一是training， 数据二是test， 数据三
是holdout。holdout 类似于future data， 用来测试最后model 表现。所以这部分数
据只能在建模完后才拿出来。建模前是绝对不是偷看，防止数据“泄露”到modeling
过程。
我的主要问题是怎么预先选初始变量。我原先理解就是用数据一和二，初选个100左右
的变量，很多modeling的书谈到bivariate analysis，算pvalue， spearman
correlation，还有是么clustering，等等。然... 阅读全帖 |
|
E**********e
发帖数: 1736 | 19 【 以下文字转载自 Statistics 讨论区 】
发信人: ExpressoLove (MoneyForNothing), 信区: Statistics
标 题: 做credit risk scorecard的朋友们， 请进来， 有问题求教
发信站: BBS 未名空间站 (Mon Feb 8 22:08:57 2016, 美东)
我现在在一个小的私人公司做risk modeling才半年多。前半年觉得自己做得很不错。
可是现在越觉得有很多问题很疑惑，现在抛出来，请有经验的大侠指导。
公司是做loan lending的小公司，比较新， 积累的charge off 数据4000不到， 这个
跟大银行动辄一两个million 的数据不一样。 modeling的数据不是很好。我就不自爆
奇丑了，主要表现是training 和test的AUC差别很大， 有很大overfitting。
现在问题来了。假设数据分成三个部分，数据一是training， 数据二是test， 数据三
是holdout。holdout 类似于future data， 用来测试最后model 表现。所以这部分数
据只... 阅读全帖 |
|
E**********e
发帖数: 1736 | 20 【 以下文字转载自 Statistics 讨论区 】
发信人: ExpressoLove (MoneyForNothing), 信区: Statistics
标 题: 做credit risk scorecard的朋友们， 请进来， 有问题求教
发信站: BBS 未名空间站 (Mon Feb 8 22:08:57 2016, 美东)
我现在在一个小的私人公司做risk modeling才半年多。前半年觉得自己做得很不错。
可是现在越觉得有很多问题很疑惑，现在抛出来，请有经验的大侠指导。
公司是做loan lending的小公司，比较新， 积累的charge off 数据4000不到， 这个
跟大银行动辄一两个million 的数据不一样。 modeling的数据不是很好。我就不自爆
奇丑了，主要表现是training 和test的AUC差别很大， 有很大overfitting。
现在问题来了。假设数据分成三个部分，数据一是training， 数据二是test， 数据三
是holdout。holdout 类似于future data， 用来测试最后model 表现。所以这部分数
据只... 阅读全帖 |
|
C*********g
发帖数: 3728 | 21 科研人员，无论有多nb,越是老就越是有经验，同时也越会被经验所束缚。这个束缚不
是指头脑僵化，而是指对于自己毕生的研究，越看越伟大光荣正确。即使有着极大地不
确定性甚至是危险，自己也看不到。一个神经网络，反复train了n次，没有
overfitting才怪。
所以老科学家，从事本专业的研究往往很危险。牛顿爱因斯坦都免不了，我等凡人如何
能免得了？老科学家的长处在于指点年轻人，以及对于相邻领域的看法。比如神经网络
的一个著名的例子：Perone&Cooper 1992年的boosting,Cooper是拿了超导体的炸药奖
的，老了却来搞计算机，另辟蹊径，成了一段佳话。
肖的智力确实有留美学界的中上水平，但是没有自我反思的能力。结果就是对于自己毕
生的研究，越看越伟大光荣正确。批评者？那是一定要从肉体上消灭的。方肘子再
文革文风，毕竟还没有肖这样文攻武卫的心理。
而对其研究大肆批判。这到底是一种什么样的心态？是光明磊落，还是别的，大家自己
评判！
夸大这个项目的有效性，没有人给他钱，不会有学生和研究人员跟他搞研究, 他的研究
就进行不下去，可能本来很有用，能够解决无数病患痛苦的这项技术... 阅读全帖 |
|
a****t
发帖数: 7049 | 22
拗口是一种警示，说明拟音里面有问题，估计就是overfit了。求最简易的解释，就要
抛弃一些太过抽象的假设。
《关雎》
关关雎鸠，在河之洲。
gron gron tsa geu, dze ghol de deu.
窈窕淑女，君子好逑。
yu dhyo hhyog nyo, gun ze he gheu.
参差荇菜，左右流之。
tsem tsol hhang tse, za hheu leu de.
窈窕淑女，寤寐求之。
yu dhyo hhyog nyo, nga myed gheu de.
求之不得，寤寐思服。
gheu de be deg, nga myed se bheg.
悠哉悠哉。辗转反侧。
yu ze yu ze, dyan dwan bwan tseg.
参差荇菜，左右采之。
tsem tsol ghang tse, za hheu tse de.
窈窕淑女，琴瑟友之。
yu dhyo hhyog nyo, ghem swid hheu de.
参差荇菜，左右毛之。
tsem tsol ghang tse, za hheu meu de.
窈窕淑女。钟鼓乐之。
yu d |
|
S*******C
发帖数: 7325 | 23 ☆─────────────────────────────────────☆
aptget (apt) 于 (Sun Aug 1 23:28:48 2010, 美东) 提到:
我前不久贴出了别人用中古拟音念唐诗的视频。虽然这里的一些北方人表示质疑，但是
中古汉语的发音和后来它在各地发生的变化过程都是比较清楚的。
相比之下，语言学家对上古语音的还原就存在非常大的分歧了，连界定什么是上古汉语
都有分歧。（一般来说，上古汉语是那些秦前后书面语可以对照的口语。）现在比较主
流的几种方案都通过汉藏语系内部的横向比较，外加对汉字声部的推理，还有侗台语系
和其他语言的音译文，得出一些难以置信的结论，比如：
- 上古有复辅音，也就是kl gl bl hm hr这种重声母开头的发音
- 承上，上古有一字对多音节现象，有称“角落”原本是“角”一个字的发音
- 上古无声调，但有类似侗台语的紧喉音和s韵尾之类
各人觉得，上古时代中国境内的语言情况一定非常复杂。后来周朝的“雅言”口语，估
计也早不是什么纯汉藏语系语言了，而是一种以商代某汉藏语系语言为主体底层的混合
语。它一定吸收了大量的各种其他语... 阅读全帖 |
|
k***g
发帖数: 7244 | 24 呵呵，有人都推到走出非洲那时候了：）
model 始终有理论模型和经验模型之分，理论模型比较复杂，一般很难定量检验，所以
就是讲一个故事；经验模型都受数据限制，做得再好也只是一个归纳。理想的知识发展
是纯粹先提出理论模型，然后搜集数据检验，这在自然科学里做得到，但是在社会科学
里经常做不到，根数据来做模型，总有 overfit 之嫌，呵呵 |
|
c*****1
发帖数: 3240 | 25 哈，俺们自然科学现在也是调参数，overfit是肯定的，否则统计结果太丑。不过很多人
已经转入做模型的uncertainty分析。现在社会科学用模型的文章似乎没怎么看到对数据
样本和模型拟合的严格检验，所以感觉这些模型有点沙上建塔的感觉。。。。 |
|
m********8
发帖数: 7463 | 26 你问这些问题，本身就是后人牵强附会的典型例子
过度解读，overfitting 而已。 刚出来的时候好玩，当真就不必了 |
|
j***b
发帖数: 5901 | 27 不要班门弄斧。你知道明显不相关的数据回归相关度高什么原因么？你的model太复杂
了，overfit。 |
|
j***b
发帖数: 5901 | 28 model错误地得出高相关性的原因就是overfit。也就是说太复杂了。这是支持我的简单原则的最好例子。
给你个例子。你fit 100个data，你model有100个parameter。你可以有perfet fit。
这就是我给你讲解的意思。
教育别人的时候先明白你讲的什么。不要用支持我的例子来驳斥我。
事。 |
|
c****s
发帖数: 395 | 29 首先我举得这个例子只有一个independent variable,我说的很清楚，所以根本不是
overfit的问题，而是我说了很多遍的，虚假回归。可见你专业也不过如此，那么你的
那些所谓理科生的论断就更是shaky了。
其次这里再谈到这个model就离题了
最后，再跟你扯真是会变的很无趣 |
|
s******s
发帖数: 13035 | 30 经典的统计里面，模型是由理论构建的。猜多个模型，
然后看哪个是对的，这个有overfit的问题。当然，现在
的machine learning里面都是瞎猜的 |
|
c****m
发帖数: 824 | 31 【 以下文字转载自 JobHunting 讨论区 】
发信人: dek (Above all, don't lose hope), 信区: JobHunting
标 题: Google的bar真心高啊
发信站: BBS 未名空间站 (Thu Sep 26 23:48:18 2013, 美东)
在国内和应届生面的。之前全职准备了一个多月，包括：
1. 刷leetcode 2.5遍，后来基本每道题都是5分钟搞定，个别的需要10分钟。快
overfit了。
2. 看很多印度电影，上了一个coursera的印度老师的课，以防碰上三哥。
3. 看了mitbbs，quora，待字闺中和其他各种资源上无数面经，一起讨论了N多面试题。
4. 用国内微软做warm up，成功秒了一个offer，feedback非常好
之后参加google的onsite。
第一轮是一个欧洲某国的大爷，交流出了很大问题，一个简单的意思常常要确认好几遍
。做了三道Medium难度（面试官记录的是M）的题，最后都解决了。但HR后来告诉我，
feedback不好。
第二轮国人大哥，spiral print matrix和一个简... 阅读全帖 |
|
|
|
|
a*******6
发帖数: 520 | 35 其实挺佩服tend同学的修养，而感觉各路反中医人士仿佛一定要压倒异见人士，当然迫
害谈不上，但是缺乏一丁点的宽容和开放的思想
中医的五行让人感觉挺像机器学习的降维（文科生们请略过这一段），面对复杂系统有
时候是不得已而为之，你可以说它和系统本质可能会有差异，但是有些情况下却是唯一
有效的避免overfitting的方法。。。中医确实亟需用现代的方法去总结研究那是肯定
的，但是一味否定的人要么是因为中医抢了他们的饭碗，要么纯粹就是跟着起哄
(文科生请继续）几年前有美国医学院想和搞机器学习的人合作，告诉我们他们最新的
研究结果是说人体80%以上（具体数字记不清了)的细胞是寄生在人身上的，他们之间互
相制衡，反映出来的现象就是被寄生的人自身的健康状况，或者是生病感染。。。当时
感觉挺震撼的，这不就是五行相生相克吗。。。于是一堆以前的医药理论又被否定了，
他们就想看看做统计和机器学习的人能不能帮他们找到这些物质或者是细菌之间的关系
（文科生请谨慎理解）总之只是想说明现在被人坚信的理论（指从实验中得到的理论）
，很可能不久就变成错的了，所以最好不要一味的肯定自己的认识而否定别人的理论 |
|
|
z****g
发帖数: 3509 | 37 个人爆发成为0.1%的一员，和国家成为发达国家不是一回事。什么第一桶金你这是毫无
逻辑的类比。
所以到底是解放了奴隶带来了财富的提升，还是奴隶制本身是财富的源泉？？如果是前
者，奴隶制的长期存在难道不是拖了后腿？更早解放或是根本就没有奴隶制难道总财富
不是更多？奴隶制本身怎么被你用来论证为发达的原因了？再一个毫无逻辑。
阿根廷和非洲各种气候都有，你不过是记住了和中国美国不同的独特特点，然后拿出来
当当地的普遍特点。草原沙漠热带雨林难道没有已经从那个统计的耕地面积里扣除？乌
克兰是亚寒带？真是敢说啊。
说到淡水
http://chartsbin.com/view/1470
中国人均比德国比利时丹麦捷克以色列都高，还有一票欧洲国家和中国类似的。
什么人均海岸线更是笑话。找来找去没有人把海岸线长度的人均值拿出来说事的。事实
上如果海岸线长度的人均值是重要的指标的话，那所有海岸线上应该开满港口，但事实
确不是这样，港口开一些就够了。还有一众欧洲发达国家海岸线是0，你又怎么说？
你挑了4个指标，其中淡水通常情况是不能卖钱的，能把人养活就够了，再多了对经济
并没有刺激作用。人均海岸线则是一个莫名其... 阅读全帖 |
|
z****g
发帖数: 3509 | 38 "一个国家从穷到富，从农业到工业的这个积累第一桶金的腾飞过程，是最重要的阶段。
英法等欧洲国家靠全世界殖民来掠夺资源腾飞； 米国靠大屠杀和合法奴隶制来积累财
富达到腾飞； 日本明治，韩国朴正熙，呆弯蒋经国，靠全国临海，贸易成本低这一便
利，再加上威权高效，玩命干活来达到腾飞； 积累第一桶金的过程这都是所有国家想
要变富的必经之路。 "
不值一驳。网络愤青的屁股想出来的理论吧？每个发达国家都找个和中国不同的点，只
要不是文化或政治制度就可以。总之别人发都是命好或做了坏事，我发不了那是我命不
好又道德高尚。深得中华文明真传啊。
工业革命，技术创新，制度创新，普及教育带来的生产力提高难道是假的？
resource curse国家怎么说？给你“第一桶金”（假设真有这么回事）你也发不起来是
什么道理？西班牙葡萄牙开了殖民主义先河，殖民地财富源源不断涌回本国，现在怎么
落了个西欧二流？葡萄牙更是西欧最穷国。
"奴隶就像牛羊一样，带来大量极低成本的农业产出，为农场主积累巨额利润和财富。
所以奴隶及带来财富，本身跟牛羊一样也是财富。"
没人否认奴隶给奴隶主阶层带来的好处。我们讨论是国家的发达水平，也就... 阅读全帖 |
|
s*****e
发帖数: 16824 | 39 奥卡姆剃刀最好的解释是统计学。在统计学里，如果你可以任意增加解释变量的话，你
总可以得到一个模型，能完美的解释已知的一切。但是这个模型通常对于未知的事情预
言能力很差，就是所谓overfitting。因此统计学模型会给新增变量一个penalty, 这就
是奥卡姆剃刀。除非新增变量所得收益超过了penalty，否则不应该加入新变量。
apart |
|
n*l
发帖数: 1126 | 40 答案是有些可以提高有些不能，你得对AI/ML的概念有些基本了解才能理解
棋类游戏本质上是在可能解法空间里的搜索算法，但是围棋的牛X之处在于他的搜索空
间太大，而且权值的计算也很微妙，现有计算机的能力不可能遍历所有的分支来找到最
优解，只能搜一部分分支和有限的步数
新的算法具体怎么做的还不知道，从媒体报道上我理解在于使用deep network让这个搜
索过程更有效率，这就有点往人类下棋的方式靠的感觉。人下棋是靠大量训练之后的感
觉，看棋形的势决定怎么下，不会去穷举每一个可能下的点哪个最优。使用训练好的
deep network也可以快速搜索方向。
棋谱可以理解为经过人类总结的好训练样本，但是不是说只有棋谱可以用于优化参数，
一般对局也可以，计算机自己跟自己下也可以（这个样本数是无限的）。所以即使没有
棋谱，继续提高也是可能的，但不是无限的，取决于当前计算能力能够支持多复杂的模
型而不至于overfit。 |
|
h*i
发帖数: 3446 | 41 Nah, not gonna happen.
【 以下文字转载自 JobHunting 讨论区 】
发信人: hci (海螺子), 信区: JobHunting
标 题: DNN就是hype
发信站: BBS 未名空间站 (Fri Feb 19 15:11:57 2016, 美东)
”同一算法解决很多不同的问题“， 换个说法，其实就是overfit。尼玛上亿的参数，
当然啥都能fit, 但是，换个数据就都不能用了，要重新训练。学的也都是些奇怪的特
征，没有什么能重用的东西，和人知道的概念更是不沾边。
总的说来，现在DNN解决的都是些人本身就觉得简单的问题，比如知觉，模式识别啥的
，而且必须要有海量的现成的ground truth.人觉得难的问题，大多是没有现成ground
truth的。不说别的，最简单的常识推理，DNN就搞不定。
视觉，听觉, 这些知觉任务，不懂计算机的人都觉得很简单，因为比较而言，它就是人
能干的最简单的任务。
那下棋是不是高大上的任务？其实不是，学过认知心理学的都知道，下棋，要下得好，
其实也主要是知觉任务，就是靠记忆和识别模式，用所谓chunking的策略，一... 阅读全帖 |
|
d****o
发帖数: 32610 | 42 我们理科生都是根据客观事实总结规律脑补出模型
overfit了，预测效果就弱了
[在 finite (螺旋) 的大作中提到：]
：你这是拿PPT说事，不以事实为依据
：
：........... |
|
|
|
|
x********o
发帖数: 2092 | 46 下次人家的training加上专门的lambda部分，让你分辨不出 |
|
|
C******y
发帖数: 3249 | 48 女的看屄出价，李嘉诚，王石，全是买了overpriced 的屄 |
|
|
s*****l
发帖数: 7106 | 50 我见过的垃圾文章的类别有 排名不分先后
1 单纯重复别人实验
2 炒概念 通篇废话 完全没实用价值 多见于所谓大牛文章
3 工程性文章 纯粹横向项目
4 搞个软件 tweak几个参数 实际实验时间一天左右
5 tweak实验条件以取得有利结果 实际都是overfit
我见过的不垃圾却发不了paper的
1 失败的尝试
2 code
3 ui ux design
4 痛批别人文章垃圾的文章 |
|
