z********n
发帖数: 59 | 1 我是做system的，对概率不大熟悉.
最近看论文，虽然自己恶补了一点知识，但还是有很多疑问，希望大家帮我解答一下.
论文中是对一个N维的向量求先验分布，其中每一个维度都是时间t。
文章做出了推断：
1.每个维度都符合正态分布。然后因为维度是时间t，所以假设了每个维度的均值都符
合InvGamma(1,1)分布.
2.下面推算协方差矩阵：由于共轭的条件不符合，没办法使用InvWishart分布来进行推算
3.改成使用Gibbs sampler来生成先验分布
4.又假设每个维度正太分布的方差符合InvGamma(1,1),最后用循环来不断生成矩阵，直
到满足正定性退出
5.生成矩阵的时候，相关系数使用GenBeta(-1,1,1,1)来生成，即(-1,1)的范围，参数
为(1,1)的Beta分布
我对这5点都存有疑问：
1.InvGamma(1,1)分布是范围>0的什么分布啊？为什么要用(1,1)呢？
2.共轭的条件不符合：解释是不能总是获得实际数据，共轭必须满足什么条件啊？
3.在这种条件下可以使用Gibbs sampler生成先验分布吗？我查了一下，要有概率转移
矩阵才可以使用Gibbs sampler吧？
4.为什么可以这么循环呢，协方差矩阵里面的初始值是怎么产生的呢？
5.为什么使用Beta分布来产生相关系数，Beta（1，1）又是怎样的分布呢？
可能有些小白，希望大家帮忙
感谢了！ | l********k
发帖数: 613 | 2 你能贴一下你看得是哪篇paper吗？
推算
【在 z********n 的大作中提到】
: 我是做system的，对概率不大熟悉.
: 最近看论文，虽然自己恶补了一点知识，但还是有很多疑问，希望大家帮我解答一下.
: 论文中是对一个N维的向量求先验分布，其中每一个维度都是时间t。
: 文章做出了推断：
: 1.每个维度都符合正态分布。然后因为维度是时间t，所以假设了每个维度的均值都符
: 合InvGamma(1,1)分布.
: 2.下面推算协方差矩阵：由于共轭的条件不符合，没办法使用InvWishart分布来进行推算
: 3.改成使用Gibbs sampler来生成先验分布
: 4.又假设每个维度正太分布的方差符合InvGamma(1,1),最后用循环来不断生成矩阵，直
: 到满足正定性退出
| z********n
发帖数: 59 | 3 https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=
0CDIQFjAA&url=https%3A%2F%2Fhyracks.googlecode.com%2Ffiles%
2FOnlineAggregationForLargeMapReduceJobs.pdf&ei=mYXVUuCMC-HLsAS30oHwBw&usg=
AFQjCNGLnMwL0VDoKqXlNeZ3icnGLLnyJA&sig2=8MjsnXIO5PxuaH69QArqeQ&bvm=bv.
59378465,d.cWc&cad=rjt
Part 4.3
Thank you!!!
【在 l********k 的大作中提到】
: 你能贴一下你看得是哪篇paper吗？
:
: 推算
| l********k
发帖数: 613 | 4 大致看了下着篇paper，我不是学统计的，大家讨论一下。
我的理解是因为他这个model没有办法拿到所有的数据（这个model的设计导致了
missing data的必然发生），所以他没有data去estimate他需要的Prior distribution
parameters。所以他用了standard的distributions去generate了一个完全non-
informative的priors。这里他选用InvGamma(1,1)是因为这个是经常用到的normal分布
的non-informative prior distribution。不知道怎么解释为什么选择alpha, beta都
是1，可能这是最简单的选择吧。
同样也没有理解他选择generalized beta(1,1)的原因。假定了这个分布，他然后用了
Gibbs sampler去sample了符合GenBeta的分布的点，用这些点去estimate covariances.
所以我的理解是这些prior并没有任何informative的东西，最后的Posterior还是主要
靠算likelihood，P(X|theta)的。
推算
【在 z********n 的大作中提到】
: 我是做system的，对概率不大熟悉.
: 最近看论文，虽然自己恶补了一点知识，但还是有很多疑问，希望大家帮我解答一下.
: 论文中是对一个N维的向量求先验分布，其中每一个维度都是时间t。
: 文章做出了推断：
: 1.每个维度都符合正态分布。然后因为维度是时间t，所以假设了每个维度的均值都符
: 合InvGamma(1,1)分布.
: 2.下面推算协方差矩阵：由于共轭的条件不符合，没办法使用InvWishart分布来进行推算
: 3.改成使用Gibbs sampler来生成先验分布
: 4.又假设每个维度正太分布的方差符合InvGamma(1,1),最后用循环来不断生成矩阵，直
: 到满足正定性退出
| z********n
发帖数: 59 | 5 谢谢啊 终于有人指导我了
抛去这些不说，我在想，如果我全部的先验都设成均匀分布怎么样，结果肯定会影响很
大吧
我看了Gibbs sampler，我不明白在这个Gibbs sampler里面， 什么是初始状态，什么
是转移矩阵
还有一个问题，如果让你重新设计一次，你会怎么设计呢？
这里面还有一个关键点，"Inspection Paradox",因为这一点，他把所有的时间信息都
加了进来，组成了一个相当大的向量。如果这么说的话，在任何一个时刻进行观察，都
有可能发生"Inspection Paradox"，也就是说所有bayesian概率计算的时候，都可以把
时间信息加进去吗？
再次感谢你！
distribution
covariances.
【在 l********k 的大作中提到】
: 大致看了下着篇paper，我不是学统计的，大家讨论一下。
: 我的理解是因为他这个model没有办法拿到所有的数据（这个model的设计导致了
: missing data的必然发生），所以他没有data去estimate他需要的Prior distribution
: parameters。所以他用了standard的distributions去generate了一个完全non-
: informative的priors。这里他选用InvGamma(1,1)是因为这个是经常用到的normal分布
: 的non-informative prior distribution。不知道怎么解释为什么选择alpha, beta都
: 是1，可能这是最简单的选择吧。
: 同样也没有理解他选择generalized beta(1,1)的原因。假定了这个分布，他然后用了
: Gibbs sampler去sample了符合GenBeta的分布的点，用这些点去estimate covariances.
: 所以我的理解是这些prior并没有任何informative的东西，最后的Posterior还是主要
| l********k
发帖数: 613 | 6 不能算指导，就是讨论吧。
如果prior设成都是uniform distribution,我不知道结果会不会差别很大，我倾向于相
信结果应该相差不大。我做过几个Project为了simplify，很多prior都假设成为
uniform distribution的。你如果非常感兴趣，你可以自己实验一下，然后来说说结果。
Gibbs sampler的初始sample值都是随机选择的或者用其他的heuristic（如果有的话）
设定的吧。转移矩阵里面的值应该是conditional probabilities.
第一次看到inspection paradox,挺有趣的，看了下别人的blog，对你的问题的回答是
不能千篇一律的把用bayesian的概率算法都加上时间，这种现象发生在当你在inspect
一个process之中的一个时间点/段的时候，所以我认为，当你在看整个process的时候
，计算marginal probability的时候不必要把时间也包含进去做adjustment。
【在 z********n 的大作中提到】
: 谢谢啊 终于有人指导我了
: 抛去这些不说，我在想，如果我全部的先验都设成均匀分布怎么样，结果肯定会影响很
: 大吧
: 我看了Gibbs sampler，我不明白在这个Gibbs sampler里面， 什么是初始状态，什么
: 是转移矩阵
: 还有一个问题，如果让你重新设计一次，你会怎么设计呢？
: 这里面还有一个关键点，"Inspection Paradox",因为这一点，他把所有的时间信息都
: 加了进来，组成了一个相当大的向量。如果这么说的话，在任何一个时刻进行观察，都
: 有可能发生"Inspection Paradox"，也就是说所有bayesian概率计算的时候，都可以把
: 时间信息加进去吗？
| z********n
发帖数: 59 | 7 非常感谢，觉得明白了很多
最大的感受是隔行如隔山 和 bayes无处不在
再次感谢!
果。
inspect
【在 l********k 的大作中提到】
: 不能算指导，就是讨论吧。
: 如果prior设成都是uniform distribution,我不知道结果会不会差别很大，我倾向于相
: 信结果应该相差不大。我做过几个Project为了simplify，很多prior都假设成为
: uniform distribution的。你如果非常感兴趣，你可以自己实验一下，然后来说说结果。
: Gibbs sampler的初始sample值都是随机选择的或者用其他的heuristic（如果有的话）
: 设定的吧。转移矩阵里面的值应该是conditional probabilities.
: 第一次看到inspection paradox,挺有趣的，看了下别人的blog，对你的问题的回答是
: 不能千篇一律的把用bayesian的概率算法都加上时间，这种现象发生在当你在inspect
: 一个process之中的一个时间点/段的时候，所以我认为，当你在看整个process的时候
: ，计算marginal probability的时候不必要把时间也包含进去做adjustment。
| l*******s
发帖数: 1258 | 8 如果data sample数量足够多的话，不管选啥prior，最后结果相差都不大，因为sample
会对alpha和beta起决定作用。
如果sample数量不够多，那估计会有些变化。
【在 z********n 的大作中提到】
: 谢谢啊 终于有人指导我了
: 抛去这些不说，我在想，如果我全部的先验都设成均匀分布怎么样，结果肯定会影响很
: 大吧
: 我看了Gibbs sampler，我不明白在这个Gibbs sampler里面， 什么是初始状态，什么
: 是转移矩阵
: 还有一个问题，如果让你重新设计一次，你会怎么设计呢？
: 这里面还有一个关键点，"Inspection Paradox",因为这一点，他把所有的时间信息都
: 加了进来，组成了一个相当大的向量。如果这么说的话，在任何一个时刻进行观察，都
: 有可能发生"Inspection Paradox"，也就是说所有bayesian概率计算的时候，都可以把
: 时间信息加进去吗？
|
|
