D***R
发帖数: 10 | 1 教科书上的linear gassuian models假设noise是正态分布，但是实际上fat tailed。
比如，y = a*x + b + epsilon. epsilon是error，往往是fat-tailed。在实际中大家
如何处理这种问题，更好的estimate a何b呢？
我试了把error分布换成t-distribution，结果也不是很满意。 |
d********t
发帖数: 9628 | 2 说明根本不是linear的，就不该regression
【在 D***R 的大作中提到】
: 教科书上的linear gassuian models假设noise是正态分布，但是实际上fat tailed。
: 比如，y = a*x + b + epsilon. epsilon是error，往往是fat-tailed。在实际中大家
: 如何处理这种问题，更好的estimate a何b呢？
: 我试了把error分布换成t-distribution，结果也不是很满意。
|
D********n
发帖数: 978 | 3 做linear regression不需要epsilon是Gaussian的吧？
【在 D***R 的大作中提到】
: 教科书上的linear gassuian models假设noise是正态分布，但是实际上fat tailed。
: 比如，y = a*x + b + epsilon. epsilon是error，往往是fat-tailed。在实际中大家
: 如何处理这种问题，更好的estimate a何b呢？
: 我试了把error分布换成t-distribution，结果也不是很满意。
|
D********n
发帖数: 978 | 4 做linear regression不需要epsilon是Gaussian的吧？
【在 D***R 的大作中提到】
: 教科书上的linear gassuian models假设noise是正态分布，但是实际上fat tailed。
: 比如，y = a*x + b + epsilon. epsilon是error，往往是fat-tailed。在实际中大家
: 如何处理这种问题，更好的estimate a何b呢？
: 我试了把error分布换成t-distribution，结果也不是很满意。
|
L*******t
发帖数: 2385 | 5 本质上是MLE的estimation。或者换成Bayesian都行。
noise可以是很大一类分布。
然而效果depend on data和很多因素。
很简单的线性代数告诉我们如果你选择的factors构成了你的Y variable取值空间的一
组基
的话，那么线性关系是成立的。其他条件和情况你自己可以分析。。
如果从Taylor expansion的角度上来说，你是在把 Y = F(X)做泰勒展开然后取线性项
。效果是取决于函数F的性质的。如果F highly nonlinear，那么线性逼近没什么意义
了。
所以nonlinearity全部在noisy里面。
最新的技术是可以考虑model uncertainty的linear regression。作者的numerics表明
如果确实model有regime的话，用sublinear expectation linear regression效果会好
非常多。
所以用Linear regression要慎重啊。
【在 D***R 的大作中提到】
: 教科书上的linear gassuian models假设noise是正态分布，但是实际上fat tailed。
: 比如，y = a*x + b + epsilon. epsilon是error，往往是fat-tailed。在实际中大家
: 如何处理这种问题，更好的estimate a何b呢？
: 我试了把error分布换成t-distribution，结果也不是很满意。
|
L*******t
发帖数: 2385 | 6 试试一些Levy distributions，可能更加flexible。比如generalized hyperbolic
distr.
【在 D***R 的大作中提到】
: 教科书上的linear gassuian models假设noise是正态分布，但是实际上fat tailed。
: 比如，y = a*x + b + epsilon. epsilon是error，往往是fat-tailed。在实际中大家
: 如何处理这种问题，更好的estimate a何b呢？
: 我试了把error分布换成t-distribution，结果也不是很满意。
|
T********g
发帖数: 42 | 7 这位版友说的很清楚了，linear reg不需要normal distribution.只需要 E(epsilon|X
) = 0. 楼主要把具体问题讲清楚，我们才好说可以往什么方向考虑。
【在 D********n 的大作中提到】
: 做linear regression不需要epsilon是Gaussian的吧？
|
D***R
发帖数: 10 | 8 谢谢大家回复，上次没说明白。教科书上的linear model假设noise是高斯分布，但实
际上呢往往是fat-tailed。如果考虑这样一个线性模型 y = a*x + b + epsilon，这里
假设 epsilon是noise，它符合某种分布，而且是互相独立，但是可能依赖于x,a,b等。
手边有一些(x,y)数据。
对于这种情况，如果还用线性模型，如何作才能更好估计a,b呢？
|X
【在 T********g 的大作中提到】
: 这位版友说的很清楚了，linear reg不需要normal distribution.只需要 E(epsilon|X
: ) = 0. 楼主要把具体问题讲清楚，我们才好说可以往什么方向考虑。
|
T********g
发帖数: 42 | 9 a和b是参数，是deterministic，只不过你无法观测到而已。所以Epsilon不可能
Depends on a or b。不过Epsilon完全可以跟X不独立。
经典的假设之一是E(Epsilon|X) = 0.只要这个成立，无论Epsilon是什么分布，OLS
estimate都是Consistent的。
但是，如果Epsilon跟X不相关，但是也不独立。比如说，有Heteroscedasticity，那么
可以用Feasible GLS。通常的做法是假设Epsilon的Variance跟X有某种关系，然后先做
一部OLS，再用Residual来估计这种关系。然后用估计出来的Heteroscedasticity处理
原始数据，使其变为Homoscedasticity，然后再做一遍OLS。
【在 D***R 的大作中提到】
: 谢谢大家回复，上次没说明白。教科书上的linear model假设noise是高斯分布，但实
: 际上呢往往是fat-tailed。如果考虑这样一个线性模型 y = a*x + b + epsilon，这里
: 假设 epsilon是noise，它符合某种分布，而且是互相独立，但是可能依赖于x,a,b等。
: 手边有一些(x,y)数据。
: 对于这种情况，如果还用线性模型，如何作才能更好估计a,b呢？
:
: |X
|
L*******t
发帖数: 2385 | 10 推荐你看看attilio meucci关于linear factor model，这是一片很好的文献。角度很
独特
【在 D***R 的大作中提到】
: 谢谢大家回复，上次没说明白。教科书上的linear model假设noise是高斯分布，但实
: 际上呢往往是fat-tailed。如果考虑这样一个线性模型 y = a*x + b + epsilon，这里
: 假设 epsilon是noise，它符合某种分布，而且是互相独立，但是可能依赖于x,a,b等。
: 手边有一些(x,y)数据。
: 对于这种情况，如果还用线性模型，如何作才能更好估计a,b呢？
:
: |X
|
p******m
发帖数: 353 | 11 不需要正态分布的， 只要E(e|x) =0 ，就是一致估计。当然t检验可能不准确了。 |
L*******t
发帖数: 2385 | 12 我觉得epsilon可以depend on a and b。
本质上说linear regression就是个MLE的估计。
如果depend on a and b，很多theory可能需要重写
【在 T********g 的大作中提到】
: a和b是参数，是deterministic，只不过你无法观测到而已。所以Epsilon不可能
: Depends on a or b。不过Epsilon完全可以跟X不独立。
: 经典的假设之一是E(Epsilon|X) = 0.只要这个成立，无论Epsilon是什么分布，OLS
: estimate都是Consistent的。
: 但是，如果Epsilon跟X不相关，但是也不独立。比如说，有Heteroscedasticity，那么
: 可以用Feasible GLS。通常的做法是假设Epsilon的Variance跟X有某种关系，然后先做
: 一部OLS，再用Residual来估计这种关系。然后用估计出来的Heteroscedasticity处理
: 原始数据，使其变为Homoscedasticity，然后再做一遍OLS。
|
h*******e
发帖数: 13 | 13 多谢推荐attilio meucci的paper看了一下收获很大
我觉得epsilon可以depend on a and b。本质上说linear regression就是个MLE的估计
。如果depend on a and b，很多theor........
【在 L*******t 的大作中提到】
: 我觉得epsilon可以depend on a and b。
: 本质上说linear regression就是个MLE的估计。
: 如果depend on a and b，很多theory可能需要重写
|
L*******t
发帖数: 2385 | 14 you are welcome!
他写了一系列的文章，都挺有趣的。。。。
【在 h*******e 的大作中提到】
: 多谢推荐attilio meucci的paper看了一下收获很大
:
: 我觉得epsilon可以depend on a and b。本质上说linear regression就是个MLE的估计
: 。如果depend on a and b，很多theor........
|
