a*s 发帖数: 23 | 1 【 以下文字转载自 Statistics 讨论区 】
发信人: AIs (AIs), 信区: Statistics
标 题: 请教“期望协方差”expected covariance的定义
发信站: BBS 未名空间站 (Sat Aug 22 04:16:38 2009, 美东)
在看Yi Ma的Segmentation of Multivariate Mixed Data via Lossy Coding and Comp
ression
(http://decision.csl.illinois.edu/~yima/psfile/Ma-PAMI07.pdf)一文中有个关于
协方差的计算(sec 4.2),大概意思是:假设有向量w_1, w_2,...w_m,假设可以聚类为
k簇(标记为1、2、...k),其中向量w_i属于类j的概率为p_ij,文中直接给出了第j簇
(类)的期望协方差的计算公式,但我实在推不出这个式子,网上也找不到这个概念的
定义。请大家帮忙讲解一下和给个出处,谢谢! |
|
a*s 发帖数: 23 | 2 在看Yi Ma的Segmentation of Multivariate Mixed Data via Lossy Coding and Comp
ression
(http://decision.csl.illinois.edu/~yima/psfile/Ma-PAMI07.pdf)一文中有个关于
协方差的计算(sec 4.2),大概意思是:假设有向量w_1, w_2,...w_m,假设可以聚类为
k簇(标记为1、2、...k),其中向量w_i属于类j的概率为p_ij,文中直接给出了第j簇
(类)的期望协方差的计算公式,但我实在推不出这个式子,网上也找不到这个概念的
定义。请大家帮忙讲解一下和给个出处,谢谢! |
|
s******5 发帖数: 319 | 3 我在这一行干了将近二十年,有过很多教训,也得到了很多经验,今天来跟大家敞开交
流一下。
首先跟大家谈一下一个优秀的研究员应该具备的基本素质。这涉及到很到方面,今
天没法系统的讲,简单的谈几个重要的方面。
第一,一个优秀的分析师应该具备很强的学习能力。做投资核心要看对未来的认知
能力,看谁更具有前瞻性。这就要求你不可能不学习。无论是多么厉害的投资大师,都
应当持续学习。所以我认为学习能力是投研人员基本素质里面很重要的一面。不仅仅是
你读了多少书,学历背景怎么样,这只是一个方面。学习应该是全方位的,包括获取新
知识的能力,调研能力,与人沟通的能力等等。行动也很重要,要多看,多了解,把视
野打开。国庆是我本科毕业20周年,我是87级,91年毕业。回到人大,新闻界的方汉奇
老先生,85岁高龄了,送给我们做学生的三句话,第一,身体最重要,第二要终身学习
,第三要处理好各种各样的关系,包括团队内部的关系,亲人的关系,社会的关系。所
以,我们要保持一个学习的心态,阅读量也很重要,要多看书。
第二个很重要的是抗压能力。比如我最近压力很大,搞得筋疲力尽。干这一行没有
压力是不可能的。我们这一行需要积累,... 阅读全帖 |
|
b***n 发帖数: 13455 | 4 ☆─────────────────────────────────────☆
chenxiaoer (chenxiaoer) 于 (Fri Feb 9 14:48:31 2007) 提到:
模拟电路设计中的一些“武功秘籍”
看了你们的讨论有感而发,当初刚进入工业界时,我与大家一样,也觉得只要把书本上
的知识在实际中灵活运用就可以了。其实,书本上的知识只是教了你一些基本的原理(
包括IEEE上的那些论文),至于实际设计完全是要靠设计经验的积累。我运气好,在第
一个公司工作时,认识了一个伊朗老头(大名鼎鼎的RAZAVI就是他的师弟),从他那儿
学了不少实际设计的窍门--都是他二十年的宝贵经验(当然他没有全教我,没那么多时
间)。每次与他讨论问题都感觉收获不小。当然为了与他搞好关系我也下了不少功夫,
请他吃饭,与他一起踢球,甚至把网上下的美国动画片拷贝给他儿子女儿等等。
刚才你们说到管子的长宽。其实在实际设计时,管子的长宽不是随便选定的,而是根据
电路要求的精度,推算出设计时的随机偏离误差(offset,一般要求是三倍的协方差,
有的高精度要求六倍的协方差),再由offset推 |
|
p********t 发帖数: 1219 | 5 高光谱遥感带来两个最大问题,一个是数据量过多。前面说了,同样空间分辨率的光谱仪
器,数据量和波段数目成正比。在很多基本的分类算法中,要计算数据的协方差矩阵,计
算量
要平方。另外一个问题就是所谓的Hughes Phenomenon。在分类时通常要已知一些地面上
的
“纯” 的象素,这些象素都代表地面上同一类物质,由这些象素的光谱来决定这一类象
素的光谱特征,如平均值,协方差。这些数据就是training data。当波段数提高时,需
要的“纯”数据随其平方数增加。而一副图像里面很难找到那么多“纯”的数据(如果事
先就知道那么多,就不用遥感了)。所以通常要对这些数据进行处理。一个波段的输出对
应一个特征(feature)。有些特征是没有用的,通过一些算法可以去除没有用的特征 (
selection),通过一些另外的算法并不去掉某些特征而是从中提取有用的部分(
extraction),比如MNF,相当于去噪声滤波。这就好比要分别一个人是男人女人,光谱仪
器可能给你100个特征,什么身高体重三围衣着文化程度等等,大部分是没用的。如果看 |
|
h****f 发帖数: 24 | 6 从wiki上看的,如果x1,x2,x3是独立同分布的高斯变量,期望值是u,标准差是delta。
对x1,x2,x3进行观测得到一组观测值,然后求未知量u的估计值,可得到u_hat=(x1+x2
+x3)/3.这是建立在x1,x2,x3独立的基础上,如果它们不独立,而其相互的协方差矩阵
告知,又如何求u的估计值呢?
我自己做的,把题目简化到对下面的式子求导
d[(X-u)'inv(P)(X-u)]/du=0, 觉得算出的u就是要求的u_hat,估计值,可就是不会求
这个导数。 这里X表示x1,x2,x3组成的向量, P表示这三个的协方差矩阵,inv表示求
逆。
数学功底太差,一复杂就不会了。 |
|
z********n 发帖数: 59 | 7 我是做system的,对概率不大熟悉.
最近看论文,虽然自己恶补了一点知识,但还是有很多疑问,希望大家帮我解答一下.
论文中是对一个N维的向量求先验分布,其中每一个维度都是时间t。
文章做出了推断:
1.每个维度都符合正态分布。然后因为维度是时间t,所以假设了每个维度的均值都符
合InvGamma(1,1)分布.
2.下面推算协方差矩阵:由于共轭的条件不符合,没办法使用InvWishart分布来进行推算
3.改成使用Gibbs sampler来生成先验分布
4.又假设每个维度正太分布的方差符合InvGamma(1,1),最后用循环来不断生成矩阵,直
到满足正定性退出
5.生成矩阵的时候,相关系数使用GenBeta(-1,1,1,1)来生成,即(-1,1)的范围,参数
为(1,1)的Beta分布
我对这5点都存有疑问:
1.InvGamma(1,1)分布是范围>0的什么分布啊?为什么要用(1,1)呢?
2.共轭的条件不符合:解释是不能总是获得实际数据,共轭必须满足什么条件啊?
3.在这种条件下可以使用Gibbs sampler生成先验分布吗?我查了一下,要有概率转移
矩阵才可以使用Gib... 阅读全帖 |
|
L*********1 发帖数: 278 | 8 多变量分析的题目,请高手解答
有两组变量 X1,X2 var(X1)=2, var(X2)=1 , cov(X1,X2)=r, X1X2协方差矩阵 (2 r,
r 1),
求第一,第二主成分通过两种方法VARIANCE MAXIMIZATION 和 算EIGENVALUE。
请问,一定要用协方差矩阵做吗?可不可以转换成相关系数矩阵做。不然对角是2 1,
真的不好算呢。谢谢 |
|
z********n 发帖数: 59 | 9 我是做system的,对概率不大熟悉.
最近看论文,虽然自己恶补了一点知识,但还是有很多疑问,希望大家帮我解答一下.
论文中是对一个N维的向量求先验分布,其中每一个维度都是时间t。
文章做出了推断:
1.每个维度都符合正态分布。然后因为维度是时间t,所以假设了每个维度的均值都符
合InvGamma(1,1)分布.
2.下面推算协方差矩阵:由于共轭的条件不符合,没办法使用InvWishart分布来进行推算
3.改成使用Gibbs sampler来生成先验分布
4.又假设每个维度正太分布的方差符合InvGamma(1,1),最后用循环来不断生成矩阵,直
到满足正定性退出
5.生成矩阵的时候,相关系数使用GenBeta(-1,1,1,1)来生成,即(-1,1)的范围,参数
为(1,1)的Beta分布
我对这5点都存有疑问:
1.InvGamma(1,1)分布是范围>0的什么分布啊?为什么要用(1,1)呢?
2.共轭的条件不符合:解释是不能总是获得实际数据,共轭必须满足什么条件啊?
3.在这种条件下可以使用Gibbs sampler生成先验分布吗?我查了一下,要有概率转移
矩阵才可以使用Gib... 阅读全帖 |
|
d*****l 发帖数: 8441 | 10 又是一个统计迷信。
PCA?你的变换矩阵是啥?是咋来的?还不是“数出来”得到的相关矩阵/协方差矩阵,
然后再对角化的?
词频统计相似能够说明屁! |
|
b*******8 发帖数: 37364 | 11 这个很容易啊,你把其中某个变量定义概率变量,然后试验不同概率分布,这样第一篇
论文不就出来了吗?
第二篇论文,你可以搞两个这样的变量,设成独立的。
第三篇,可以取消独立限制,分析其相关性,协方差啥的
第四篇分析多变量
第五篇分析变量数趋于无穷的情况,这个用来模拟人体。
这五篇,可以作为量子中医学的创世纪,彪炳史册。
当然未来你的名字是留不下的,大概会冠以“近平内经”。 |
|
d********8 发帖数: 691 | 12 正态分布怎么non trivial了,中心极限定理直接指向正态分布
协方差矩阵出现的都是二阶量,用四次也肯定是换回二次使用 |
|
s*********n 发帖数: 191 | 13 发个新面经,供各位大神参考,攒人品。顺便吐槽一下自己的悲惨遭遇。
投的位置是general software engineer new grad.
第一轮45分钟电面的期间正好赶上本地挂了场雷暴,可能有信号塔受影响了,期间几天
手机信号时断时续。面试官是个老印,自称打了1个电话没我没接。我解释我这里没收
到。然后HR又打了个来,说老印跟他说我不接电话。然后赶紧开始面。老印口音很重,
加上语音断断续续,很难听懂说什么。第一句话就是“Can I assume you are a
machine learning expert?”因为自己仅仅是个硕士,是有一点相关的灌水paper,所
以估计老印是要阴人,害怕老印下套,解释了下自己只是个new grad master,不是什
么expert.老印还是不依不饶,丢来一个matrix,让求协方差矩阵。这道题就是理论题
,让我算,不是coding题。大致解释下计算流程。
可能信号太差他也听不清楚我说什么。于是他改为问求multi-dimensional gaussian的
参数,然后我解释先求u,再去运算∑,期间和老印基本互相说什么都不知道,只能在... 阅读全帖 |
|
c********p 发帖数: 1969 | 14 这什么职务啊怎么那么多统计东西啊,协方差啊高斯啊。。。谁面sde问这个啊。。。 |
|
a**y 发帖数: 6501 | 15 跟某教授谈了谈, 大概齐还是前面的意思。
为啥平方呢?一平方,负的就变成正的了。
总不能把正正负负的errors直接加起来吧。
为啥不取绝对值呢?取了绝对值,你的目标函数就是折线了,求导不方便。
而2乘法出来的函数,光滑完美,一求导就得出唯一的最小值,
高斯的beautiful mind!
为啥不用4乘?导数为零的地方不止一处你还得考虑global optimal的问题。
爱因斯坦说了,science should be simple.
当时的故事是这样的,高斯发明最小二乘法之后不久,
马科夫就证明了最小二乘法是best linear unbiased estimator
that minimizes the variance of errors.
这是多么丢人的一个证明啊,variance本来就是用二乘defined
人家高斯根本不屑写出来。
所以,为啥大家都用二乘法,
因为它1)是高斯发明的 2)简单、大方、直观、完美。Math is a art!
另一个教授说得更玄乎一些,用几何来解释回归,如果你有兴趣,just google
keyword "geometry of least... 阅读全帖 |
|
g****g 发帖数: 1828 | 16 标准差(Standard Deviation),在概率统计中最常使用作为统计分布程度(
statistical dispersion)上的测量。标准差定义为方差的算术平方根,反映组内个体
间的离散程度。测量到分布程度的结果,原则上具有两种性质:
1. 为非负数值,
2. 与测量资料具有相同单位。
一个总量的标准差或一个随机变量的标准差,及一个子集合样品数的标准差之间,有所
差别。其公式如下所列。
标准差的观念是由卡尔·皮尔逊 (Karl Pearson)引入到统计中。
目录
[隐藏]
* 1 阐述及应用
* 2 标准差的定义及简易计算公式
o 2.1 标准计算公式
o 2.2 简化计算公式
o 2.3 随机变量的标准差计算公式
o 2.4 样本标准差
o 2.5 连续随机变量的标准差计算公式
o 2.6 标准差的性质
* 3 范例
* 4 正态分布的规则
* 5 标准差与平均值之间的关系
* 6 几何学解释
... 阅读全帖 |
|
l*****a 发帖数: 38403 | 17 学数学的人,你伤不起!!!
证明:
老子五年前高考就因为数学考了个全班第一!!!!!!
就尼玛进入数学这条不归路了啊!!!!!!!
迎新典礼里院长说数学是最简单的只有最笨的人才会来学数学!!!!
老子真尼玛笨得去学数学了啊!!!!!!
从幼儿园学算术小学中学到大学学了十几年数学还是学不懂啊!!!!!
你们叫嚣着要上一学期数学要学一年数学期末高数考研高数!!!!!
老子大学四年天天都是数学课啊!!!!!考研七门课五门是数学啊!!!
高等代数学完还有近世代数啊!!!!!
解析几何学完还有微分几何啊!!!!!
常微分方程学完还有偏微分方程啊!!!!!!
尼玛复变函数两遍也学不懂实变函数十遍也学不懂啊!!!!有木有啊!!!!
特么泛函分析微分流形老子提都不想提啊!!!!!
尼玛群环域里a+b不一定等于b+a啊!!!!!!
老子学完近世代数连特么四则运算都不敢算了啊!!!!!!
尼玛俩实数加减乘除都重新定义了啊!!!!!
连x和它倒数相乘等于1老子都不会证啊!!!
尼玛说微积分难 你知道你学的是黎曼积分吗!!!!!!... 阅读全帖 |
|
d****3 发帖数: 10 | 18 对于周的第3节第一句,P&C也指明了这一点,只是解决的方法在前面给出,周“借用了
”P&C的方法,所以周ijcai第3节的24才与P&C的的公式4相同,周自己的回复也承认了
这个事实,但辩称24后的讨论,即:发现协方差矩阵可能病态,可以用遗传算法来解决
这个问题。但不幸是P&C也指出了这一点,并给出了另一种方法来解决,在P&C的具体位
置我就不赘述了。
所以,周的工作就是换个方法,并实验验证,理论上没有一点贡献,至于做了点苦力活
(实验),该什么样的credit,大家自己判断吧。
听说周仍不承认是有意的,好像说自己是重新证明,尽管看了P&C文,但有些地方跳过
没读。但为什么P&C文可以在其它3篇文章引用,就ijcai不能引用,而且正好自己的
idea巧合了P&C的整个思路...
evanstondr,你真的相信? |
|
T*******m 发帖数: 66 | 19 binary trait的linkage analysis是一定要有control的,否则无法map致病位点
通俗地讲,我们是看得病的人和他没有得病的亲戚之间有哪些位点是不同的
如果linkage analysis中所有人都得病,那么我们并不能说明得病的原因是某个位点
quantitative trait linkage analysis早期有Haseman和Elston的方法,版本很多,本
质都是linear regression,后来也有做variance component的,但是用方差和协方差
作为outcome,很难假设残差是正态分布的
association analysis就是用linear regression,如果整个cohort里面的人都是
unrelated的话,但是由于marker的数量往往远远大于样本的数量,一般在每个model里
面只有一个genetic predictor,然后重复做上百万次的regression,这样的问题是对
于main effect size很小的位点,power非常低,且容易找出不可重复的假阳性位点
现在基本上容易发现的位点都已经做 |
|
o*d 发帖数: 72 | 20 【 以下文字转载自 Mathematics 讨论区 】
发信人: omd (omd), 信区: Mathematics
标 题: 请问一个matlab求解问题
发信站: BBS 未名空间站 (Mon Feb 25 09:39:19 2013, 美东)
现在有一个大概40至50维左右的任意协方差矩阵M和一个同维度的向量t
t的取值比较有规律,比如有5个1/5,9个1/9,10个1/15...的样子
然后要解同维度向量x使得,{x_i*M_i*x'} 约等于 t_i,任取i。
最初想法就是简单地用fminsearch或者lsqnonlin去逼近t
但是初值范围很难估计,解的效果都不好。
蒙特卡洛也不行。
不知道对于这种问题有没有什么较好的预估、迭代方法?十分感谢! |
|
s***c 发帖数: 50 | 21 你做的对。高斯变量X的二阶矩 X^2 = mu^2 + sigma^2。如果X和Y独立,X^2也和Y独
立(?) 剩下的就好做了。
如果在一般的情况(X和Y不独立),该如何做啊? 协方差矩阵?雅可比行列式?。。。。
哪位老大给个一般性的方法?多谢了!! |
|
q*****g 发帖数: 1568 | 22 嗯,不知道加非想要知道什么样的几何解释。这里有一个比较fancy一点的:
在样本空间Ω上存在有限期望和方差的随机变量构成一个希尔伯特空间:
L^2(Ω, dP),不过这里的内积和长度跟方差,标准差还是不大一样。
所以,我们得把这个空间“除”常变量构成的子空间,也就是说把相差一个常数的
所有原来那个空间的随机变量做成一个等价类。这还是一个新的无穷维线性空间,
并且有一个从老空间内积诱导出来的新内积,而这个内积就是方差了,说得仔细
一点,是方差,是协方差。
内积吗当然是和“角度”有关的东西了,为零说明两个随机变量等价类
“垂直”了,呵呵。 |
|
h****f 发帖数: 24 | 23 在matlab里有计算方差和协方差的函数,var cov,但是为什么没有计算数学期望的函数
呢?那个mean似乎是计算数学平均值的函数,是不是啊?但是没有计算数学期望的函数
,又怎么计算出方差呢?谢谢 |
|
h****f 发帖数: 24 | 24 如果已知两个随机变量的边缘概率密度,还需要知道哪些条件才可求出其联合概率密度
呢,假设不独立。
需要知道协方差或者相关系数吗?
如果这两个随机变量都是高斯分布是不是会容易求出呢?
如果不是高斯呢? |
|
a*********3 发帖数: 660 | 25 证明:
老子五年前高考就因为数学考了个全班第一!!!!!!
就尼玛进入数学这条不归路了啊!!!!!!!
迎新典礼里院长说数学是最简单的只有最笨的人才会来学数学!!!!
老子真尼玛笨得去学数学了啊!!!!!!
从幼儿园学算术小学中学到大学学了十几年数学还是学不懂啊!!!!!
你们叫嚣着要上一学期数学要学一年数学期末高数考研高数!!!!!
老子大学四年天天都是数学课啊!!!!!考研七门课五门是数学啊!!!
高等代数学完还有近世代数啊!!!!!
解析几何学完还有微分几何啊!!!!!
常微分方程学完还有偏微分方程啊!!!!!!
尼玛复变函数两遍也学不懂实变函数十遍也学不懂啊!!!!有木有啊!!!!
特么泛函分析微分流形老子提都不想提啊!!!!!
尼玛群环域里a+b不一定等于b+a啊!!!!!!
老子学完近世代数连特么四则运算都不敢算了啊!!!!!!
尼玛俩实数加减乘除都重新定义了啊!!!!!
连x和它倒数相乘等于1老子都不会证啊!!!
尼玛说微积分难 你知道你学的是黎曼积分吗!!!!!!!!
你知道还有个勒贝格积分还有个斯蒂尔吉斯积分还有N种各式各样的积分麻!!!!!
尼玛一元的都积不出来给你... 阅读全帖 |
|
f********t 发帖数: 14 | 26 X 是一列随机变量,M=EX 是其期望值。
求证:如果协方差矩阵EXX'-MM' 是正定的,那么EXX'也是正定的。在两维情况下,简
单地用Cauthy-Schwartz不等式能得到。三维的情况也能证明是对的。不知在N维情况下
是否成立。 请大牛赐教!略备包子薄酬。 |
|
a*********3 发帖数: 660 | 27 从前有一个随机过程A,他喜欢上了另一个随机过程B。虽然他们都映到R上,他们并不
定义在同一个概率空间。但概率空间都不一样的随机过程怎么能够在一起呢?
A向数学家求助。数学家说:这个容易。我把你同分布地映到B所定义的那个空间就是了。
经历种种磨难,A终于到了B所在的那个空间。但他愕然发现,他与B竟然是独立的。
A再次找到了数学家。数学家说:你看这种种随机过程,总是独立的多,不独立的少。
况且不独立也未见得是好事。你看C和C+1,他们并不独立,协方差是1,但是他们虽然
彼此相爱,却永远也不能在一起。
A继续恳求,数学家遍查文献,发现了一种方法叫做“耦合”。但这种方法需要双方的
配合。数学家找到B说明情况,B被A的诚意打动,决定给A一个机会。数学家做了这个概
率空间与其自身的乘积空间,并用卡拉西奥多里扩张定理构造了上面的概率测度结构,
附带诱导了轨道空间的概率测度。A和B被写在同一个括号里,构成耦合的过程。
岁月无声,B逐渐接受了A的爱情,但由于他们不知道自己将去往何方,他们从未相遇,
对此也无能为力,只能感叹造化弄人。
A对于这种长期的分隔失去了耐心,又跑去向数学家求助。数学家拿出了cdy... 阅读全帖 |
|
z****e 发帖数: 702 | 28 zan
从前有一个随机过程A,他喜欢上了另一个随机过程B。虽然他们都映到R上,他们并不
定义在同一个概率空间。但概率空间都不一样的随机过程怎么能够在一起呢?
A向数学家求助。数学家说:这个容易。我把你同分布地映到B所定义的那个空间就是了。
经历种种磨难,A终于到了B所在的那个空间。但他愕然发现,他与B竟然是独立的。
A再次找到了数学家。数学家说:你看这种种随机过程,总是独立的多,不独立的少。
况且不独立也未见得是好事。你看C和C+1,他们并不独立,协方差是1,但是他们虽然
彼此相爱,却永远也不能在一起。
A继续恳求,数学家遍查文献,发现了一种方法叫做“耦合”。但这种方法需要双方的
配合。数学家找到B说明情况,B被A的诚意打动,决定给A一个机会。数学家做了这个概
率空间与其自身的乘积空间,并用卡拉西奥多里扩张定理构造了上面的概率测度结构,
附带诱导了轨道空间的概率测度。A和B被写在同一个括号里,构成耦合的过程。
岁月无声,B逐渐接受了A的爱情,但由于他们不知道自己将去往何方,他们从未相遇,
对此也无能为力,只能感叹造化弄人。
A对于这种长期的分隔失去了耐心,又跑去向数学家求助。数学家拿... 阅读全帖 |
|
f**********d 发帖数: 4960 | 29 【 以下文字转载自 Statistics 讨论区 】
发信人: freelikewind (像风一样自由), 信区: Statistics
标 题: 正态分布和指数分布共轭么?
发信站: BBS 未名空间站 (Sat Sep 14 22:49:56 2013, 美东)
f=N(x;m,\Sigma)
g=exp(-\beta^T x),
这里x是矢量,\beta是常数矢量。f是多维正太分布。
那么g乘上f,似乎还是正态分布,且协方差矩阵不变,但均值改变。
这个后验的均值m有更新的公式么?
正要用到,多谢多谢! |
|
|
c**********d 发帖数: 1 | 31 各位行家,现在遇到一个十分棘手的问题希望得到各位的帮助,希望大家不吝赐教!现
将问题叙述如下:
现有一银行间市场的债券组合,包含短期融资券、央行票据、中期票据、企业债、国债
和金融债,我希望通过现金流映射的方法计算各券种组合的VaR,同时计算整个投资组
合的VaR,通过一些资料的收集,我已经可以计算出一般情况下央票组合的VaR,但是在
计算短期融资券、国债和整个债券组合时遇到如下问题:
1、当剩余期限小于最小关键期限时,应该采取什么办法进行现金流映射呢?我已经尝
试过将剩余期限为零的关键期限收益率设置为零和将其设置为最小关键期限收益率两种
情况,但是事实表明当将其设置为零时可以得到现金流映射,但是无法获得正确的协方
差矩阵;当将其设置为最小关键期限收益率时可以得到协方差矩阵,但是根本无法映射
现金流,不知道各位有没有什么好办法解决这个问题?
2、在求取整个债券组合的VaR时,如何匹配关键期限和现金流? |
|
b*******z 发帖数: 155 | 32 刚刚看到置顶,我保证这不是面试题目,估计面试也不会出这么简单的题吧。。。
是FINANCE的一道homework题,我研究了半天也拿不准
就是有5组数据,每组数据是70个,现在要求用EXCEL求它们的协方差矩阵(variance-
covariance matrix),怎么求啊?
我用的是MMult(Transpose(Data - Mean), (Data - Mean))/70
这样做对吗? |
|
b*******z 发帖数: 155 | 33 刚看到置顶,我保证这不是啥面试题,只是一道finance的作业题,我研究了一个晚上
,还不确定做的对不对。
有5组数据,每组70个,求它们的协方差矩阵
我的做法是MMult(Transpose(Data - Mean), (Data - Mean))/70
这样做对吗? |
|
h******a 发帖数: 198 | 34 如果是用mean-variance analysis的话,如何估计出portfolio的协方差矩阵很重要 目
前貌似是用shrinkage estimation |
|
s********9 发帖数: 74 | 35 单因素和多因素logistic regression的结果差别很大,OR值的大小和显著性差别也很大
. 在比较影响因素对结果变量的影响大小的时候,选择哪个OR比较合理?
如果有结果变量分类多于两类,在做影响因素分析的时候,用什么样的模型比较好? 如果
用SAS, 用哪个过程步比较好? 需要指定协方差的类型吗? |
|
s*******2 发帖数: 499 | 36 请教如何用SAS得到fixed effect 估计参数的协方差矩阵, 谢谢。 |
|
F******n 发帖数: 160 | 37 我怎么觉得你原来的问题还更好理解点。
你如果知道关联系数,即,协方差矩阵,又是标准正态分布,你就有了理论表达式。对
于三个变量,你想求:
p(x_1>K_1|x_2>K_2, x_2>K_3)
这个和你的观测数据好像没有什么关系吧?我是说,给定K_1, K_2, K_3,你就是做理
论计算,和你观测数据没有关系。所以这个问题的建立不是很清楚。
但你的原贴子里,是说,观测到x_1, x_2,那最优的预测的x_3是什么值,看起来更合
理些。
求: |
|
s******g 发帖数: 1 | 38 数据是一个连续三年的队列研究数据,协变量是有关于年龄,学历,职业,社会经济条
件等,应变量Y为“病人”(根据心理学,社会学划分得到 在三年的发展过程中,一些
人成为了“病人”,我们关注某些基因水平如何变化的。由于是调查数据,分析时是要
考虑协变量的。
是用协方差分析,重复测量?或其它?请高手指点 。谢谢? |
|
d******e 发帖数: 7844 | 39 Covariance Matrix Rank deficient.
举个简单的例子,x服从N(0,1), y = x,那么(x,y)服从正态分布。但是这个协方差矩
阵rank只有1。无法求逆,自然也无法算density。其实Rank deficient的情况很多,常
用的PCA的假设就是covariance是low rank的。
正态分布的定义是
A random vector is said to be multivariate normally distributed if every
linear combination of its components has a univariate normal distribution.
并不是由density function来定义的。 |
|
d*********r 发帖数: 297 | 40 大家好!本人菜鸟,请用非矩阵的方法,求解:
谢谢拉 |
|
e*******a 发帖数: 514 | 41 假设已知A,B两个连续随机变量。一定存在连续随机变量C和D,使B=C+D,并且A和C的
协方差为零吗?
谢谢! |
|
s********0 发帖数: 51 | 42 非常感谢你的解答,我觉得挺有道理的。但是我不太明白三个统计量的平均值,方差,
尤其是协方差是如何算出来的。能不能写的再详细一点,多谢了。
, |
|
l**********e 发帖数: 336 | 43 假设数据X是多维变量,比如3维,要回归的Y是一维的。然后run线性回归,如果得到的
F-stat是3.31,p-value是0.045,这个算是模型显著吗?
另外,通常如果X的几个变量之间共线性/Co-linear严重,会需要一些对X的预处理(比
如用PCA降维)。但是,到底什么程度才算是共线性严重呢?比如对于3个变量,3个互
相关系数是0.24, 0.46,0.59,协方差矩阵的3个特征值分别是1.87, 0.77, 0.36,这
样的算共线性严重吗?
对于数据X的共线性问题,是不是可以有共线性的test去测试下?
谢谢!~~~ |
|
f**********d 发帖数: 4960 | 44 f=N(x;m,\Sigma)
g=exp(-\beta^T x),
这里x是矢量,\beta是常数矢量。f是多维正太分布。
那么g乘上f,似乎还是正态分布,且协方差矩阵不变,但均值改变。
这个后验的均值m有更新的公式么?
正要用到,多谢多谢! |
|
h***c 发帖数: 12 | 45 一点理解,也不知道对不
我对这5点都存有疑问:
1.InvGamma(1,1)分布是范围>0的什么分布啊?为什么要用(1,1)呢?
如果 x 是 invgamma(1,1),那 1/x 是exponential(1).
用(1,1)的原因可能是1,简单,2,pdf相对平滑,能够cover a large range with
decent probability.
2.共轭的条件不符合:解释是不能总是获得实际数据,共轭必须满足什么条件啊?
似乎是说有些data不是normal,而是truncated normal。这种条件下用wishart也不共轭
3.在这种条件下可以使用Gibbs sampler生成先验分布吗?我查了一下,要有概率转移
矩阵才可以使用Gibbs sampler吧?
不是用gibbs sampler生成prior。
文章是说既然不共轭,就不能直接用wishart来得到posterior samples。需要gibbs来
做。跟prior的生成没有关系
4.为什么可以这么循环呢,协方差矩阵里面的初始值是怎么产生的呢?
diagonal的值从invgamma sample... 阅读全帖 |
|
c*******e 发帖数: 150 | 46 嗯,如果知道噪音序列的协方差矩阵 大Sigma (which is a gigantic T-by-T matrix),
当然可以很方便地做 GLS。但是实际中 那个 大Sigma 矩阵是不知道的,即使假设了
大Sigma 矩阵具有一定的结构,比如原贴中假定的 AR(1) 结构,最后还是需要
estimate 参数 rho 并同时需要估计白化更新过程 Z(t) 的真实方差 小sigma,也就是
我在原贴中提出的核心问题。简单地谈论 GLS 并不能直接解决这个核心问题。
第二你提到的 Newey-West estimator 本质上是用于估计 the OLS-beta 的
standard error的,而并不是对于原贴中的模型对应的 likelihood function 进行最大
化,并得到相应的 (beta, rho, 小sigma) 的MLE估计,所以还是没有办法帮助我们最终
做model comparison/selection 时进行可靠的 LLR Test。
假定 |
|
g*****o 发帖数: 812 | 47 直接拿原始数据分析不就行了么? 不用拟合啊, 直接对比在k1维度上的效果
如果k1是截距不是自变量参数, 那就更简单了, 多元回归的最小二乘法第二个性质, 截
距参数和自变量参数的协方差为零, 也就是不相关 |
|
v*******e 发帖数: 11604 | 48
r,
,
No, 相关系数矩阵做 result is different from 协方差矩阵做.
对角是2 1 is not necessarily more difficult than 对角是 1 1 |
|
发帖数: 1 | 49 统计问题:怎么衡量一组数据的离散程度。
发信站: 水木社区 (Wed Nov 9 02:32:15 2016), 站内
今有一组数据,随着时间的变化,两个测量点测到的频率数据。
如下:
时间h 1 2 3 4 6 8 11 13 19 20 21 22
频率f1 0.1 0.0 2.0 3.5 4.3 2.1 1.0 3.2 10.7 10.8 10.9 10.7
频率f2 8.0 8.0 8.0 8.0 8.0 8.0 8.0 8.0 8.0 8.0 8.0 8.0
另有一组数据,表示机器速度
时间h 1 2 3 4 6 8 11 13 19 20 21 22
速度v 3 9 7 8 1 6 7 8 10 10 10 10
想说明:
1) 频率1从在每个测量点,从低频的、不稳定的变化,变得高频且稳定。频率2一直稳
定。
2) 频率1、2跟机器运行速度的关系 (结论:1有关,2无关)
求大神!
(数据只是例子,实际是大数据)
我想这样算:
对于f, 用一个sliding window, 比如设置为3、5、7等等,计算每个小窗口的sd,组成
一个曲线,然后跟v... 阅读全帖 |
|