m*****0 发帖数: 55 | 1 大家好,问个学术问题。
我在使用EM算法的时候,在30个iterations之后,我的log-likelihood就变成了-
infinity。不知道是什么原因造成的。我的EM就是MLE + logistic regression。感觉
没啥问题啊。
M step是为了maximize expection of log-likelihood, 我这里变成-inf,岂不是EM算
法在这个iteration完全没有用?
谢谢了。 |
d******e 发帖数: 7844 | 2 overfit数据了,加regularization就OK了。
【在 m*****0 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 大家好,问个学术问题。 : 我在使用EM算法的时候,在30个iterations之后,我的log-likelihood就变成了- : infinity。不知道是什么原因造成的。我的EM就是MLE + logistic regression。感觉 : 没啥问题啊。 : M step是为了maximize expection of log-likelihood, 我这里变成-inf,岂不是EM算 : 法在这个iteration完全没有用? : 谢谢了。
|
m*****0 发帖数: 55 | 3
请问这个的overfit是否就是overflow呢?
能不能elaborate为什么会overfit呢, 我不是特别明白?
谢谢。
【在 d******e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : overfit数据了,加regularization就OK了。
|
K****n 发帖数: 5970 | 4 先说说model细节吧,logistic regression怎么用的em? 是有prior还是有mixture? 只
要有一个data point的p是0, log likelihood就是-inf,就像debug一样,你可以研究
一下这30个interation是怎么让它变0的。原理上em的likelihood应该是单增的,如果
你没用package的话也说不定是哪儿写错了
【在 m*****0 的大作中提到】![](/moin_static193/solenoid/img/up.png) : : 请问这个的overfit是否就是overflow呢? : 能不能elaborate为什么会overfit呢, 我不是特别明白? : 谢谢。
|
m*****0 发帖数: 55 | 5 嗯,解决了。 是overflow了,加个penalty就可以了:) |