z********n 发帖数: 59 | 1 我是做system的,对概率不大熟悉.
最近看论文,虽然自己恶补了一点知识,但还是有很多疑问,希望大家帮我解答一下.
论文中是对一个N维的向量求先验分布,其中每一个维度都是时间t。
文章做出了推断:
1.每个维度都符合正态分布。然后因为维度是时间t,所以假设了每个维度的均值都符
合InvGamma(1,1)分布.
2.下面推算协方差矩阵:由于共轭的条件不符合,没办法使用InvWishart分布来进行推算
3.改成使用Gibbs sampler来生成先验分布
4.又假设每个维度正太分布的方差符合InvGamma(1,1),最后用循环来不断生成矩阵,直
到满足正定性退出
5.生成矩阵的时候,相关系数使用GenBeta(-1,1,1,1)来生成,即(-1,1)的范围,参数
为(1,1)的Beta分布
我对这5点都存有疑问:
1.InvGamma(1,1)分布是范围>0的什么分布啊?为什么要用(1,1)呢?
2.共轭的条件不符合:解释是不能总是获得实际数据,共轭必须满足什么条件啊?
3.在这种条件下可以使用Gibbs sampler生成先验分布吗?我查了一下,要有概率转移
矩阵才可以使用Gibbs sampler吧?
4.为什么可以这么循环呢,协方差矩阵里面的初始值是怎么产生的呢?
5.为什么使用Beta分布来产生相关系数,Beta(1,1)又是怎样的分布呢?
可能有些小白,希望大家帮忙
感谢了! | l********k 发帖数: 613 | 2 你能贴一下你看得是哪篇paper吗?
推算
【在 z********n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我是做system的,对概率不大熟悉. : 最近看论文,虽然自己恶补了一点知识,但还是有很多疑问,希望大家帮我解答一下. : 论文中是对一个N维的向量求先验分布,其中每一个维度都是时间t。 : 文章做出了推断: : 1.每个维度都符合正态分布。然后因为维度是时间t,所以假设了每个维度的均值都符 : 合InvGamma(1,1)分布. : 2.下面推算协方差矩阵:由于共轭的条件不符合,没办法使用InvWishart分布来进行推算 : 3.改成使用Gibbs sampler来生成先验分布 : 4.又假设每个维度正太分布的方差符合InvGamma(1,1),最后用循环来不断生成矩阵,直 : 到满足正定性退出
| z********n 发帖数: 59 | 3 https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=
0CDIQFjAA&url=https%3A%2F%2Fhyracks.googlecode.com%2Ffiles%
2FOnlineAggregationForLargeMapReduceJobs.pdf&ei=mYXVUuCMC-HLsAS30oHwBw&usg=
AFQjCNGLnMwL0VDoKqXlNeZ3icnGLLnyJA&sig2=8MjsnXIO5PxuaH69QArqeQ&bvm=bv.
59378465,d.cWc&cad=rjt
Part 4.3
Thank you!!!
【在 l********k 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你能贴一下你看得是哪篇paper吗? : : 推算
| l********k 发帖数: 613 | 4 大致看了下着篇paper,我不是学统计的,大家讨论一下。
我的理解是因为他这个model没有办法拿到所有的数据(这个model的设计导致了
missing data的必然发生),所以他没有data去estimate他需要的Prior distribution
parameters。所以他用了standard的distributions去generate了一个完全non-
informative的priors。这里他选用InvGamma(1,1)是因为这个是经常用到的normal分布
的non-informative prior distribution。不知道怎么解释为什么选择alpha, beta都
是1,可能这是最简单的选择吧。
同样也没有理解他选择generalized beta(1,1)的原因。假定了这个分布,他然后用了
Gibbs sampler去sample了符合GenBeta的分布的点,用这些点去estimate covariances.
所以我的理解是这些prior并没有任何informative的东西,最后的Posterior还是主要
靠算likelihood,P(X|theta)的。
推算
【在 z********n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我是做system的,对概率不大熟悉. : 最近看论文,虽然自己恶补了一点知识,但还是有很多疑问,希望大家帮我解答一下. : 论文中是对一个N维的向量求先验分布,其中每一个维度都是时间t。 : 文章做出了推断: : 1.每个维度都符合正态分布。然后因为维度是时间t,所以假设了每个维度的均值都符 : 合InvGamma(1,1)分布. : 2.下面推算协方差矩阵:由于共轭的条件不符合,没办法使用InvWishart分布来进行推算 : 3.改成使用Gibbs sampler来生成先验分布 : 4.又假设每个维度正太分布的方差符合InvGamma(1,1),最后用循环来不断生成矩阵,直 : 到满足正定性退出
| z********n 发帖数: 59 | 5 谢谢啊 终于有人指导我了
抛去这些不说,我在想,如果我全部的先验都设成均匀分布怎么样,结果肯定会影响很
大吧
我看了Gibbs sampler,我不明白在这个Gibbs sampler里面, 什么是初始状态,什么
是转移矩阵
还有一个问题,如果让你重新设计一次,你会怎么设计呢?
这里面还有一个关键点,"Inspection Paradox",因为这一点,他把所有的时间信息都
加了进来,组成了一个相当大的向量。如果这么说的话,在任何一个时刻进行观察,都
有可能发生"Inspection Paradox",也就是说所有bayesian概率计算的时候,都可以把
时间信息加进去吗?
再次感谢你!
distribution
covariances.
【在 l********k 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 大致看了下着篇paper,我不是学统计的,大家讨论一下。 : 我的理解是因为他这个model没有办法拿到所有的数据(这个model的设计导致了 : missing data的必然发生),所以他没有data去estimate他需要的Prior distribution : parameters。所以他用了standard的distributions去generate了一个完全non- : informative的priors。这里他选用InvGamma(1,1)是因为这个是经常用到的normal分布 : 的non-informative prior distribution。不知道怎么解释为什么选择alpha, beta都 : 是1,可能这是最简单的选择吧。 : 同样也没有理解他选择generalized beta(1,1)的原因。假定了这个分布,他然后用了 : Gibbs sampler去sample了符合GenBeta的分布的点,用这些点去estimate covariances. : 所以我的理解是这些prior并没有任何informative的东西,最后的Posterior还是主要
| l********k 发帖数: 613 | 6 不能算指导,就是讨论吧。
如果prior设成都是uniform distribution,我不知道结果会不会差别很大,我倾向于相
信结果应该相差不大。我做过几个Project为了simplify,很多prior都假设成为
uniform distribution的。你如果非常感兴趣,你可以自己实验一下,然后来说说结果。
Gibbs sampler的初始sample值都是随机选择的或者用其他的heuristic(如果有的话)
设定的吧。转移矩阵里面的值应该是conditional probabilities.
第一次看到inspection paradox,挺有趣的,看了下别人的blog,对你的问题的回答是
不能千篇一律的把用bayesian的概率算法都加上时间,这种现象发生在当你在inspect
一个process之中的一个时间点/段的时候,所以我认为,当你在看整个process的时候
,计算marginal probability的时候不必要把时间也包含进去做adjustment。
【在 z********n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 谢谢啊 终于有人指导我了 : 抛去这些不说,我在想,如果我全部的先验都设成均匀分布怎么样,结果肯定会影响很 : 大吧 : 我看了Gibbs sampler,我不明白在这个Gibbs sampler里面, 什么是初始状态,什么 : 是转移矩阵 : 还有一个问题,如果让你重新设计一次,你会怎么设计呢? : 这里面还有一个关键点,"Inspection Paradox",因为这一点,他把所有的时间信息都 : 加了进来,组成了一个相当大的向量。如果这么说的话,在任何一个时刻进行观察,都 : 有可能发生"Inspection Paradox",也就是说所有bayesian概率计算的时候,都可以把 : 时间信息加进去吗?
| z********n 发帖数: 59 | 7 非常感谢,觉得明白了很多
最大的感受是隔行如隔山 和 bayes无处不在
再次感谢!
果。
inspect
【在 l********k 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 不能算指导,就是讨论吧。 : 如果prior设成都是uniform distribution,我不知道结果会不会差别很大,我倾向于相 : 信结果应该相差不大。我做过几个Project为了simplify,很多prior都假设成为 : uniform distribution的。你如果非常感兴趣,你可以自己实验一下,然后来说说结果。 : Gibbs sampler的初始sample值都是随机选择的或者用其他的heuristic(如果有的话) : 设定的吧。转移矩阵里面的值应该是conditional probabilities. : 第一次看到inspection paradox,挺有趣的,看了下别人的blog,对你的问题的回答是 : 不能千篇一律的把用bayesian的概率算法都加上时间,这种现象发生在当你在inspect : 一个process之中的一个时间点/段的时候,所以我认为,当你在看整个process的时候 : ,计算marginal probability的时候不必要把时间也包含进去做adjustment。
| l*******s 发帖数: 1258 | 8 如果data sample数量足够多的话,不管选啥prior,最后结果相差都不大,因为sample
会对alpha和beta起决定作用。
如果sample数量不够多,那估计会有些变化。
【在 z********n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 谢谢啊 终于有人指导我了 : 抛去这些不说,我在想,如果我全部的先验都设成均匀分布怎么样,结果肯定会影响很 : 大吧 : 我看了Gibbs sampler,我不明白在这个Gibbs sampler里面, 什么是初始状态,什么 : 是转移矩阵 : 还有一个问题,如果让你重新设计一次,你会怎么设计呢? : 这里面还有一个关键点,"Inspection Paradox",因为这一点,他把所有的时间信息都 : 加了进来,组成了一个相当大的向量。如果这么说的话,在任何一个时刻进行观察,都 : 有可能发生"Inspection Paradox",也就是说所有bayesian概率计算的时候,都可以把 : 时间信息加进去吗?
|
|