w****n 发帖数: 266 | 1 现在有组数据, 200多个变量, 想做回归分析, 请教attribute selection 和
regression algorithm,有什么参考书可以看看,google了一阵没有头绪。 |
d*****u 发帖数: 17243 | 2 目的是什么呢,数据是binary的还是numerical的
特征选取的方法也很多,一般是看feature之间的correlation和mutual information什
么的
【在 w****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 现在有组数据, 200多个变量, 想做回归分析, 请教attribute selection 和 : regression algorithm,有什么参考书可以看看,google了一阵没有头绪。
|
w****n 发帖数: 266 | 3 数据是混合型的, 给出地区一些基本情况(人口, 面积, 收入, 人员组成情况什么
的),来预测房价,要求预测出具体数值(numeric)。
feature selection 的方法和classification 的不同吧?算法呢?
【在 d*****u 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 目的是什么呢,数据是binary的还是numerical的 : 特征选取的方法也很多,一般是看feature之间的correlation和mutual information什 : 么的
|
D***r 发帖数: 7511 | 4 如果要做regression,无非那么几种常用的方法
像linear regression, ridge regression,logistic regression
房价这种东西本来就不要求很精确,可能一般的linear regression就够了
用least square error
你的训练数据有多大呢?有多少样本,多大维度?
【在 w****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 数据是混合型的, 给出地区一些基本情况(人口, 面积, 收入, 人员组成情况什么 : 的),来预测房价,要求预测出具体数值(numeric)。 : feature selection 的方法和classification 的不同吧?算法呢?
|
w****n 发帖数: 266 | 5 trainingset 10万sample,200个attribute
regression 的LSE 有哪些具体的算法呢? 就像 classification里的kNN, random
forest类的
feature selection呢? 跟classification的一样?
【在 D***r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 如果要做regression,无非那么几种常用的方法 : 像linear regression, ridge regression,logistic regression : 房价这种东西本来就不要求很精确,可能一般的linear regression就够了 : 用least square error : 你的训练数据有多大呢?有多少样本,多大维度?
|
w****n 发帖数: 266 | 6 现在有组数据, 200多个变量, 想做回归分析, 请教attribute selection 和
regression algorithm,有什么参考书可以看看,google了一阵没有头绪。 |
d*****u 发帖数: 17243 | 7 目的是什么呢,数据是binary的还是numerical的
特征选取的方法也很多,一般是看feature之间的correlation和mutual information什
么的
【在 w****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 现在有组数据, 200多个变量, 想做回归分析, 请教attribute selection 和 : regression algorithm,有什么参考书可以看看,google了一阵没有头绪。
|
w****n 发帖数: 266 | 8 数据是混合型的, 给出地区一些基本情况(人口, 面积, 收入, 人员组成情况什么
的),来预测房价,要求预测出具体数值(numeric)。
feature selection 的方法和classification 的不同吧?算法呢?
【在 d*****u 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 目的是什么呢,数据是binary的还是numerical的 : 特征选取的方法也很多,一般是看feature之间的correlation和mutual information什 : 么的
|
D***r 发帖数: 7511 | 9 如果要做regression,无非那么几种常用的方法
像linear regression, ridge regression,logistic regression
房价这种东西本来就不要求很精确,可能一般的linear regression就够了
用least square error
你的训练数据有多大呢?有多少样本,多大维度?
【在 w****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 数据是混合型的, 给出地区一些基本情况(人口, 面积, 收入, 人员组成情况什么 : 的),来预测房价,要求预测出具体数值(numeric)。 : feature selection 的方法和classification 的不同吧?算法呢?
|
w****n 发帖数: 266 | 10 trainingset 10万sample,200个attribute
regression 的LSE 有哪些具体的算法呢? 就像 classification里的kNN, random
forest类的
feature selection呢? 跟classification的一样?
【在 D***r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 如果要做regression,无非那么几种常用的方法 : 像linear regression, ridge regression,logistic regression : 房价这种东西本来就不要求很精确,可能一般的linear regression就够了 : 用least square error : 你的训练数据有多大呢?有多少样本,多大维度?
|
|
|
d*****u 发帖数: 17243 | 11 那还好,维度不算特别高
feature selection并没有公认最好的办法
有的就是轮着在training data上试验,看哪个不好就抛弃哪个
为了省时间,也可以用一些greedy的方法
有的则是找feature之间的corrrelation
correaltion大的feature能提供的信息少,可以抛弃
任何regression其实是一个loss function加上一个regularization term
loss function取决于你选定的模型的计算结果跟实际结果的差异
regularization term则是你对模型参数的限制
LSE就是预测结果与实际结果之差的平方和
回归的目的就是要最小化这个LSE的值
这些公式都是现成的,一搜就有
【在 w****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : trainingset 10万sample,200个attribute : regression 的LSE 有哪些具体的算法呢? 就像 classification里的kNN, random : forest类的 : feature selection呢? 跟classification的一样?
|
w****n 发帖数: 266 | 12 请问有没有详细的资料推荐一下, 手头的data mining书主要讲classification和其他
的, regression没提。
【在 d*****u 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 那还好,维度不算特别高 : feature selection并没有公认最好的办法 : 有的就是轮着在training data上试验,看哪个不好就抛弃哪个 : 为了省时间,也可以用一些greedy的方法 : 有的则是找feature之间的corrrelation : correaltion大的feature能提供的信息少,可以抛弃 : 任何regression其实是一个loss function加上一个regularization term : loss function取决于你选定的模型的计算结果跟实际结果的差异 : regularization term则是你对模型参数的限制 : LSE就是预测结果与实际结果之差的平方和
|
d*****u 发帖数: 17243 | 13 统计课本上都有。
如果是简单回归,看维基就行了。
就是几个矩阵乘一下就搞定了。
【在 w****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 请问有没有详细的资料推荐一下, 手头的data mining书主要讲classification和其他 : 的, regression没提。
|
w****n 发帖数: 266 | |
w****n 发帖数: 266 | 15 最后决定用PCA 做feature selection, 算法用SVR。 这个组合怎么样? |
d*****u 发帖数: 17243 | 16 PCA严格说不是feature selection,是一种transformation
当然也能起到降维的作用
只是transform以后的特征不好直接解释,看需要了
SVR的特点是只用考虑部分训练数据
【在 w****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 最后决定用PCA 做feature selection, 算法用SVR。 这个组合怎么样?
|
d******e 发帖数: 7844 | 17 只考虑部分训练数据这个说法太含糊了。
SVR的特点是只考虑错误比较大的点,错误足够小的可以忽略。
【在 d*****u 的大作中提到】![](/moin_static193/solenoid/img/up.png) : PCA严格说不是feature selection,是一种transformation : 当然也能起到降维的作用 : 只是transform以后的特征不好直接解释,看需要了 : SVR的特点是只用考虑部分训练数据
|
d*****u 发帖数: 17243 | 18 嗯。总之就是“容易”预测的点对最后的参数没影响
【在 d******e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 只考虑部分训练数据这个说法太含糊了。 : SVR的特点是只考虑错误比较大的点,错误足够小的可以忽略。
|
w****n 发帖数: 266 | 19 看来我选的方法不太好, 看kaggle上的牛人大多用random forest, 建1000个树,对
于data mining的final project 有点太难了吧, 有木有简单点的方法 |
d*****u 发帖数: 17243 | 20 没啥难的,matlab里有现成的函数,一秒钟就出结果
【在 w****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 看来我选的方法不太好, 看kaggle上的牛人大多用random forest, 建1000个树,对 : 于data mining的final project 有点太难了吧, 有木有简单点的方法
|
|
|
s*w 发帖数: 729 | 21 you could at least try
maximum relevance, minimum redundancy by Hanchuan Peng
【在 w****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 最后决定用PCA 做feature selection, 算法用SVR。 这个组合怎么样?
|
d*****u 发帖数: 17243 | 22 那还好,维度不算特别高
feature selection并没有公认最好的办法
有的就是轮着在training data上试验,看哪个不好就抛弃哪个
为了省时间,也可以用一些greedy的方法
有的则是找feature之间的corrrelation
correaltion大的feature能提供的信息少,可以抛弃
任何regression其实是一个loss function加上一个regularization term
loss function取决于你选定的模型的计算结果跟实际结果的差异
regularization term则是你对模型参数的限制
LSE就是预测结果与实际结果之差的平方和
回归的目的就是要最小化这个LSE的值
这些公式都是现成的,一搜就有
【在 w****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : trainingset 10万sample,200个attribute : regression 的LSE 有哪些具体的算法呢? 就像 classification里的kNN, random : forest类的 : feature selection呢? 跟classification的一样?
|
w****n 发帖数: 266 | 23 请问有没有详细的资料推荐一下, 手头的data mining书主要讲classification和其他
的, regression没提。
【在 d*****u 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 那还好,维度不算特别高 : feature selection并没有公认最好的办法 : 有的就是轮着在training data上试验,看哪个不好就抛弃哪个 : 为了省时间,也可以用一些greedy的方法 : 有的则是找feature之间的corrrelation : correaltion大的feature能提供的信息少,可以抛弃 : 任何regression其实是一个loss function加上一个regularization term : loss function取决于你选定的模型的计算结果跟实际结果的差异 : regularization term则是你对模型参数的限制 : LSE就是预测结果与实际结果之差的平方和
|
d*****u 发帖数: 17243 | 24 统计课本上都有。
如果是简单回归,看维基就行了。
就是几个矩阵乘一下就搞定了。
【在 w****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 请问有没有详细的资料推荐一下, 手头的data mining书主要讲classification和其他 : 的, regression没提。
|
w****n 发帖数: 266 | |
w****n 发帖数: 266 | 26 最后决定用PCA 做feature selection, 算法用SVR。 这个组合怎么样? |
d*****u 发帖数: 17243 | 27 PCA严格说不是feature selection,是一种transformation
当然也能起到降维的作用
只是transform以后的特征不好直接解释,看需要了
SVR的特点是只用考虑部分训练数据
【在 w****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 最后决定用PCA 做feature selection, 算法用SVR。 这个组合怎么样?
|
d******e 发帖数: 7844 | 28 只考虑部分训练数据这个说法太含糊了。
SVR的特点是只考虑错误比较大的点,错误足够小的可以忽略。
【在 d*****u 的大作中提到】![](/moin_static193/solenoid/img/up.png) : PCA严格说不是feature selection,是一种transformation : 当然也能起到降维的作用 : 只是transform以后的特征不好直接解释,看需要了 : SVR的特点是只用考虑部分训练数据
|
d*****u 发帖数: 17243 | 29 嗯。总之就是“容易”预测的点对最后的参数没影响
【在 d******e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 只考虑部分训练数据这个说法太含糊了。 : SVR的特点是只考虑错误比较大的点,错误足够小的可以忽略。
|
w****n 发帖数: 266 | 30 看来我选的方法不太好, 看kaggle上的牛人大多用random forest, 建1000个树,对
于data mining的final project 有点太难了吧, 有木有简单点的方法 |
|
|
d*****u 发帖数: 17243 | 31 没啥难的,matlab里有现成的函数,一秒钟就出结果
【在 w****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 看来我选的方法不太好, 看kaggle上的牛人大多用random forest, 建1000个树,对 : 于data mining的final project 有点太难了吧, 有木有简单点的方法
|
s*w 发帖数: 729 | 32 you could at least try
maximum relevance, minimum redundancy by Hanchuan Peng
【在 w****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 最后决定用PCA 做feature selection, 算法用SVR。 这个组合怎么样?
|
l*******s 发帖数: 1258 | 33 试试 SMO regression
然后换不同的kernel function |
b******x 发帖数: 826 | 34 Partial least squares, reduced rank regression, lasso/elastic net
you can find those from Hastie et al's Element of Statistical Learning
nips 2012, Fukumizu has a new paper on kernel dimension reduction and
feature selection
【在 w****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 现在有组数据, 200多个变量, 想做回归分析, 请教attribute selection 和 : regression algorithm,有什么参考书可以看看,google了一阵没有头绪。
|