e****g 发帖数: 4434 | |
P*****t 发帖数: 4978 | |
s******g 发帖数: 3841 | |
e****g 发帖数: 4434 | 4 我一看是火鸡国的, 都没有要个copy.
看来我应该去看看
【在 P*****t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我用的是Ethem Alpaydin那本。
|
z***t 发帖数: 2374 | |
s**********e 发帖数: 33562 | 6 Y. S. Abu-Mostafa, M. Magdon-Ismail and H. T. Lin 这本如何?好像挺薄的。 |
z***t 发帖数: 2374 | 7 这本不行,纯属浪费大家时间
还不如去看Vapnik那本Statistical Learning Theory
不是专门做ML的人还是看Hastie那本比较好,讲的详细 |
s**********e 发帖数: 33562 | 8 有没有专门讲高维情况下的machine learning?或者是machine learning里面的
security 问题?
为什么?缺点在哪里?
这本很理论啊。
【在 z***t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 这本不行,纯属浪费大家时间 : 还不如去看Vapnik那本Statistical Learning Theory : 不是专门做ML的人还是看Hastie那本比较好,讲的详细
|
e****g 发帖数: 4434 | 9 有没有讲
ultra-high dimensional 的了?
比如fmri 图像的,
【在 s**********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 有没有专门讲高维情况下的machine learning?或者是machine learning里面的 : security 问题? : : 为什么?缺点在哪里? : 这本很理论啊。
|
z***t 发帖数: 2374 | 10 高维下做啥? 找biomarker?还是数据重建?
security里数据分析的问题不多啊,你先把想做问题搞清楚,我可以帮你搞个算法 |
|
|
s**********e 发帖数: 33562 | 11
whatever
我说的是数据分析里面的security问题。比方说分布式的数据分析,数据存在多个
agent里面,他们互相交换信息来分析数据(比方说做lasso分析),但是他们不希望让
别人全部了解自己的数据,尽管他们希望能够算出最后的结果(比方说lasso的系数)
,他们应该怎么做?又或许如何找出某个造假的agent。又比方说如何保证互相通信的
时候数据不泄露给外人。
security里面其实也很多数据分析的问题,比方说网络里面好多数据,如何发现
intrusion,或者lier。。。
【在 z***t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 高维下做啥? 找biomarker?还是数据重建? : security里数据分析的问题不多啊,你先把想做问题搞清楚,我可以帮你搞个算法
|
d*******9 发帖数: 248 | 12 理论上可以把secure multiparty computation的technique套到一般的learning算法上
吧,不过实际速度如何不清楚
【在 s**********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : : whatever : 我说的是数据分析里面的security问题。比方说分布式的数据分析,数据存在多个 : agent里面,他们互相交换信息来分析数据(比方说做lasso分析),但是他们不希望让 : 别人全部了解自己的数据,尽管他们希望能够算出最后的结果(比方说lasso的系数) : ,他们应该怎么做?又或许如何找出某个造假的agent。又比方说如何保证互相通信的 : 时候数据不泄露给外人。 : security里面其实也很多数据分析的问题,比方说网络里面好多数据,如何发现 : intrusion,或者lier。。。
|
s**********e 发帖数: 33562 | 13 也许需要根据learning的特点重新设计security protocol
【在 d*******9 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 理论上可以把secure multiparty computation的technique套到一般的learning算法上 : 吧,不过实际速度如何不清楚
|
w***g 发帖数: 5958 | 14 我没看过Hastie那本, 但是看了眼目录, 感觉比Bishop那本更好. Hastie基本上每一章
讲的是Machine Learning的一类方法, 覆盖面很全, 篇幅分配也比较均衡. Bishop的书
其实应该叫"Bayesian Methods for PRML", 把所有的方法都纳入了贝叶斯统计的体系.
虽然很有系统性, 各种方法也都能覆盖到, 但是对于一些实用性较强的方法如SVM,
Bishop用了大量的篇幅论述这些方法的实用性不那么强的贝叶斯版本, 而忽略了这些方
法非贝叶斯的一些扩展, 感觉比较有失偏颇.
另外, Hastie和Bishop两本书貌似都没有涉及VC Theory和Generalization Error的内
容, 作为教材的话感觉缺了一大块, 得补一些Vapnik和Schapire的书中的章节.
【在 z***t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : no doubt : Hastie's book
|
z***t 发帖数: 2374 | 15 这是Hastie聪明的地方,Vapnik已经写过书了
再写也超不过Vapnik,不如不写,否则浪费大家时间和买多余纸张的钱
写ML这种研究性教材,作者必须水平高,市面上其他教材的作者和Hastie他们差太多了
即使MJ出来写,也就这水平了
说其他作者自不量力,欺骗群众,也不过分,因为Hastie的第一版很早就出来了,而且
很不错,后来几本书还远不如最早Duda的pattern classification
系.
【在 w***g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我没看过Hastie那本, 但是看了眼目录, 感觉比Bishop那本更好. Hastie基本上每一章 : 讲的是Machine Learning的一类方法, 覆盖面很全, 篇幅分配也比较均衡. Bishop的书 : 其实应该叫"Bayesian Methods for PRML", 把所有的方法都纳入了贝叶斯统计的体系. : 虽然很有系统性, 各种方法也都能覆盖到, 但是对于一些实用性较强的方法如SVM, : Bishop用了大量的篇幅论述这些方法的实用性不那么强的贝叶斯版本, 而忽略了这些方 : 法非贝叶斯的一些扩展, 感觉比较有失偏颇. : 另外, Hastie和Bishop两本书貌似都没有涉及VC Theory和Generalization Error的内 : 容, 作为教材的话感觉缺了一大块, 得补一些Vapnik和Schapire的书中的章节.
|
s**********e 发帖数: 33562 | 16 受教了。。。
【在 z***t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 这是Hastie聪明的地方,Vapnik已经写过书了 : 再写也超不过Vapnik,不如不写,否则浪费大家时间和买多余纸张的钱 : 写ML这种研究性教材,作者必须水平高,市面上其他教材的作者和Hastie他们差太多了 : 即使MJ出来写,也就这水平了 : 说其他作者自不量力,欺骗群众,也不过分,因为Hastie的第一版很早就出来了,而且 : 很不错,后来几本书还远不如最早Duda的pattern classification : : 系.
|
X******2 发帖数: 5859 | 17 我基本同意你的看法。
htf 那本书对方法描述还有应用上很不错,但缺在理论上。
他们不写理论也可以,但适当提供一些指针应该帮助很大。
但三个作者都不是搞理论的,估计他们不愿意这么做。
系.
【在 w***g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我没看过Hastie那本, 但是看了眼目录, 感觉比Bishop那本更好. Hastie基本上每一章 : 讲的是Machine Learning的一类方法, 覆盖面很全, 篇幅分配也比较均衡. Bishop的书 : 其实应该叫"Bayesian Methods for PRML", 把所有的方法都纳入了贝叶斯统计的体系. : 虽然很有系统性, 各种方法也都能覆盖到, 但是对于一些实用性较强的方法如SVM, : Bishop用了大量的篇幅论述这些方法的实用性不那么强的贝叶斯版本, 而忽略了这些方 : 法非贝叶斯的一些扩展, 感觉比较有失偏颇. : 另外, Hastie和Bishop两本书貌似都没有涉及VC Theory和Generalization Error的内 : 容, 作为教材的话感觉缺了一大块, 得补一些Vapnik和Schapire的书中的章节.
|
X******2 发帖数: 5859 | 18 也不用过分抬高htf,他们基本不做统计理论又没有机器学习
背景,真要写理论那一块也未必就能有多好。
【在 z***t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 这是Hastie聪明的地方,Vapnik已经写过书了 : 再写也超不过Vapnik,不如不写,否则浪费大家时间和买多余纸张的钱 : 写ML这种研究性教材,作者必须水平高,市面上其他教材的作者和Hastie他们差太多了 : 即使MJ出来写,也就这水平了 : 说其他作者自不量力,欺骗群众,也不过分,因为Hastie的第一版很早就出来了,而且 : 很不错,后来几本书还远不如最早Duda的pattern classification : : 系.
|
s**********e 发帖数: 33562 | 19 他们不是写机器学习的书的吗?为什么没有机器学习的背景呢?
【在 X******2 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 也不用过分抬高htf,他们基本不做统计理论又没有机器学习 : 背景,真要写理论那一块也未必就能有多好。
|
e*****s 发帖数: 273 | 20 那你这个不是security而属于privacy吧。最近有一篇Fienberg和Jiashun Jin写的有关
lasso PP,您放狗搜下?
【在 s**********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 他们不是写机器学习的书的吗?为什么没有机器学习的背景呢?
|
|
|
e*****s 发帖数: 273 | 21 我用Tom Mitchell的,是不是很老很不专业? |
X******2 发帖数: 5859 | 22 他们是从统计角度写的,而且重点在methodology
(在这一块统计特别是非参统计跟机器学习重和很大)。
htf告诉你怎么做,也会从直观上说明为什么那么做,
但没有严格的理论阐述。
但是cs背景的机器学习还有很重要的泛化理论(小样本
理论),与此对应统计里面还有一致性理论(大样本理
论)。没有这些理论支持,所谓的机器学习也是不完整
的。
【在 s**********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 他们不是写机器学习的书的吗?为什么没有机器学习的背景呢?
|
s**********e 发帖数: 33562 | 23 多谢多谢!狗已放出,今天晚上就学习一把。
好像这方面文章还不少。
【在 e*****s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 那你这个不是security而属于privacy吧。最近有一篇Fienberg和Jiashun Jin写的有关 : lasso PP,您放狗搜下?
|
e*****s 发帖数: 273 | 24 PPDM前两年红得发紫,最近也也不弱,往BIG data上靠,合伙耍耍?
【在 s**********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 多谢多谢!狗已放出,今天晚上就学习一把。 : 好像这方面文章还不少。
|
s**********e 发帖数: 33562 | 25 PPDM是啥意思?漂漂大妈?
咱最近读这些东西,可不就是眼红big data。只怕等开始入门了,又不热了。哎,谁叫
俺的本行冷得跟冰一样呢。
【在 e*****s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : PPDM前两年红得发紫,最近也也不弱,往BIG data上靠,合伙耍耍?
|
e*****s 发帖数: 273 | 26 privacy preserving data mining
【在 s**********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : PPDM是啥意思?漂漂大妈? : 咱最近读这些东西,可不就是眼红big data。只怕等开始入门了,又不热了。哎,谁叫 : 俺的本行冷得跟冰一样呢。
|
s**********e 发帖数: 33562 | 27 收到。准备读一读。
【在 e*****s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : privacy preserving data mining
|
L***s 发帖数: 9258 | 28 军方一直问我说能不能做个hardware engine去分析网络数据流中的security和pravicy
问题。我现在的learning on chip engine可以把速度提高个几百倍,能耗效率降低几千
倍。不知道能不能用在这个上面。啥时候聊聊?
【在 s**********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 收到。准备读一读。
|
s**********e 发帖数: 33562 | 29 聊聊?有文章没有?
pravicy
几千
【在 L***s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 军方一直问我说能不能做个hardware engine去分析网络数据流中的security和pravicy : 问题。我现在的learning on chip engine可以把速度提高个几百倍,能耗效率降低几千 : 倍。不知道能不能用在这个上面。啥时候聊聊?
|
L***s 发帖数: 9258 | 30 我最近做了个neuromorphic/learning的hardware engine。
【在 s**********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 聊聊?有文章没有? : : pravicy : 几千
|
|
|
z***t 发帖数: 2374 | 31 HTF这种写法是对
他们不是不懂learning theory,相反他们理解的相当出色
这书是拿来做课本用的,不是会议文集
如果说HTF不做ML理论,那做ML理论的人很少了
ML理论不只是去证明bound,而且大部分发在COLT,SODA上的bound都没用
只有很少一部分有实际指导意义
【在 X******2 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 他们是从统计角度写的,而且重点在methodology : (在这一块统计特别是非参统计跟机器学习重和很大)。 : htf告诉你怎么做,也会从直观上说明为什么那么做, : 但没有严格的理论阐述。 : 但是cs背景的机器学习还有很重要的泛化理论(小样本 : 理论),与此对应统计里面还有一致性理论(大样本理 : 论)。没有这些理论支持,所谓的机器学习也是不完整 : 的。
|
s**********e 发帖数: 33562 | 32 牛啊。有文章没?
【在 L***s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我最近做了个neuromorphic/learning的hardware engine。
|
X******2 发帖数: 5859 | 33 请问htf做什么ml理论?
那种写法是对还是错,见仁见智。
【在 z***t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : HTF这种写法是对 : 他们不是不懂learning theory,相反他们理解的相当出色 : 这书是拿来做课本用的,不是会议文集 : 如果说HTF不做ML理论,那做ML理论的人很少了 : ML理论不只是去证明bound,而且大部分发在COLT,SODA上的bound都没用 : 只有很少一部分有实际指导意义
|
L***s 发帖数: 9258 | 34 有一些,其实我的CAREER就是做这个的。
【在 s**********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 牛啊。有文章没?
|
z***t 发帖数: 2374 | 35 那个叫LASSO的理论系统还是比较有意思的
一般来说,除了算法,能给出solution path和convergence rate的研究都算是有理论
贡献了
不觉得哪个中国人在ML领域超过HTF,至少我是高山仰止
【在 X******2 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 请问htf做什么ml理论? : 那种写法是对还是错,见仁见智。
|
s**********e 发帖数: 33562 | 36 LASSO好像很有用啊,而且跟compressive sensing关系非常大
【在 z***t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 那个叫LASSO的理论系统还是比较有意思的 : 一般来说,除了算法,能给出solution path和convergence rate的研究都算是有理论 : 贡献了 : 不觉得哪个中国人在ML领域超过HTF,至少我是高山仰止
|
s**********e 发帖数: 33562 | 37 能否指两篇出来俺学习学习?
【在 L***s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 有一些,其实我的CAREER就是做这个的。
|
X******2 发帖数: 5859 | 38 lasso的那些理论根本不是tibshirani搞的。
他自己都觉得不够格总结最近十几年有关lasso的
理论发展,而要buhlmann去写某个综述。而solution
path这玩艺最早由老efron在做lars时搞出来的,
然后才有所谓的“path frenzy"。
【在 z***t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 那个叫LASSO的理论系统还是比较有意思的 : 一般来说,除了算法,能给出solution path和convergence rate的研究都算是有理论 : 贡献了 : 不觉得哪个中国人在ML领域超过HTF,至少我是高山仰止
|
z***t 发帖数: 2374 | 39 最早LASSO formal的讨论是T做的
正式提出,还有讨论和其他几个理论的connections,这个工作很重要
再早F在93年也有相关文章
LARS里,T,H也都是有很大contribution,否则Efron早就single author了
Donoho是比HTF强,其他人明显超过他们的不多 |
X******2 发帖数: 5859 | 40
哪几个理论?请指教。
这个老夫估计你记错了,你是想说breiman的garrot吧?
关于这个,你大概没听过相关的故事而有点想当然吧?
凭efron的成就和地位还会在乎single author?
事实是老efron当初看了一本书,觉得上面有个东西比
较有趣,然后兴冲冲告述th,结果被他俩狂打击,"Brad,
this is not new"。但是efron毕竟是efron,不服气,
闭关猛搞了一段时间,有了lars的最原始想法。他后
来邀请th入伙,由h动手写程序。最后当中有个证明搞
不定,于是又拉johnstone入伙。
【在 z***t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 最早LASSO formal的讨论是T做的 : 正式提出,还有讨论和其他几个理论的connections,这个工作很重要 : 再早F在93年也有相关文章 : LARS里,T,H也都是有很大contribution,否则Efron早就single author了 : Donoho是比HTF强,其他人明显超过他们的不多
|
|
|
z***t 发帖数: 2374 | 41 You are wrong. Efron cares very much on single author.
【在 X******2 的大作中提到】![](/moin_static193/solenoid/img/up.png) : : 哪几个理论?请指教。 : 这个老夫估计你记错了,你是想说breiman的garrot吧? : 关于这个,你大概没听过相关的故事而有点想当然吧? : 凭efron的成就和地位还会在乎single author? : 事实是老efron当初看了一本书,觉得上面有个东西比 : 较有趣,然后兴冲冲告述th,结果被他俩狂打击,"Brad, : this is not new"。但是efron毕竟是efron,不服气, : 闭关猛搞了一段时间,有了lars的最原始想法。他后 : 来邀请th入伙,由h动手写程序。最后当中有个证明搞
|
c******s 发帖数: 283 | 42 Mark
这个帖子信息量好大
对PPDM很感兴趣
★ 发自iPhone App: ChineseWeb 7.8
【在 e****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 给研究生用的话, : 哪本textbook最好呀。
|
e****g 发帖数: 4434 | 43 谢谢,
我也算在mit挖了个有质量的坑,他引超过 40
相当于发了篇 science了
【在 c******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : Mark : 这个帖子信息量好大 : 对PPDM很感兴趣 : : ★ 发自iPhone App: ChineseWeb 7.8
|
g********r 发帖数: 8017 | 44 不对呀。楼里好多都不是直接引用你原文的。不能算citation。
【在 e****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 谢谢, : 我也算在mit挖了个有质量的坑,他引超过 40 : 相当于发了篇 science了
|
s*****r 发帖数: 1426 | 45 Bishop
Duda
Hastie
【在 e****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 给研究生用的话, : 哪本textbook最好呀。
|
s*****r 发帖数: 1426 | 46 同意你的说法
LARS是新东西,lasso其实很早就提出了,只是没有系统论述
说实话LARS的推导很漂亮,比coordinate descent要强
convex下找最sparse的解,这种建模真的挺难想不到的,关键是难解
【在 X******2 的大作中提到】![](/moin_static193/solenoid/img/up.png) : lasso的那些理论根本不是tibshirani搞的。 : 他自己都觉得不够格总结最近十几年有关lasso的 : 理论发展,而要buhlmann去写某个综述。而solution : path这玩艺最早由老efron在做lars时搞出来的, : 然后才有所谓的“path frenzy"。
|
s**********e 发帖数: 33562 | |
s****s 发帖数: 368 | 48 不知道各位有多少是CS有多少统计的。怎么觉得CS这些人比俺懂得统计还多呢? |
X******2 发帖数: 5859 | 49 统计里面有不少人做了点变量选择或是玩了几下SVM就
号称懂机器学习了。
【在 s****s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 不知道各位有多少是CS有多少统计的。怎么觉得CS这些人比俺懂得统计还多呢?
|
R*******t 发帖数: 574 | 50 您说说到底什么算机器学习吧?
【在 X******2 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 统计里面有不少人做了点变量选择或是玩了几下SVM就 : 号称懂机器学习了。
|
|
|
R*******t 发帖数: 574 | 51 您也来说说什么算统计吧?
【在 s****s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 不知道各位有多少是CS有多少统计的。怎么觉得CS这些人比俺懂得统计还多呢?
|
e****g 发帖数: 4434 | 52 给研究生用的话,
哪本textbook最好呀。 |
P*****t 发帖数: 4978 | |
s******g 发帖数: 3841 | |
e****g 发帖数: 4434 | 55 我一看是火鸡国的, 都没有要个copy.
看来我应该去看看
【在 P*****t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我用的是Ethem Alpaydin那本。
|
z***t 发帖数: 2374 | |
s**********e 发帖数: 33562 | 57 Y. S. Abu-Mostafa, M. Magdon-Ismail and H. T. Lin 这本如何?好像挺薄的。 |
z***t 发帖数: 2374 | 58 这本不行,纯属浪费大家时间
还不如去看Vapnik那本Statistical Learning Theory
不是专门做ML的人还是看Hastie那本比较好,讲的详细 |
s**********e 发帖数: 33562 | 59 有没有专门讲高维情况下的machine learning?或者是machine learning里面的
security 问题?
为什么?缺点在哪里?
这本很理论啊。
【在 z***t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 这本不行,纯属浪费大家时间 : 还不如去看Vapnik那本Statistical Learning Theory : 不是专门做ML的人还是看Hastie那本比较好,讲的详细
|
e****g 发帖数: 4434 | 60 有没有讲
ultra-high dimensional 的了?
比如fmri 图像的,
【在 s**********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 有没有专门讲高维情况下的machine learning?或者是machine learning里面的 : security 问题? : : 为什么?缺点在哪里? : 这本很理论啊。
|
|
|
z***t 发帖数: 2374 | 61 高维下做啥? 找biomarker?还是数据重建?
security里数据分析的问题不多啊,你先把想做问题搞清楚,我可以帮你搞个算法 |
s**********e 发帖数: 33562 | 62
whatever
我说的是数据分析里面的security问题。比方说分布式的数据分析,数据存在多个
agent里面,他们互相交换信息来分析数据(比方说做lasso分析),但是他们不希望让
别人全部了解自己的数据,尽管他们希望能够算出最后的结果(比方说lasso的系数)
,他们应该怎么做?又或许如何找出某个造假的agent。又比方说如何保证互相通信的
时候数据不泄露给外人。
security里面其实也很多数据分析的问题,比方说网络里面好多数据,如何发现
intrusion,或者lier。。。
【在 z***t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 高维下做啥? 找biomarker?还是数据重建? : security里数据分析的问题不多啊,你先把想做问题搞清楚,我可以帮你搞个算法
|
d*******9 发帖数: 248 | 63 理论上可以把secure multiparty computation的technique套到一般的learning算法上
吧,不过实际速度如何不清楚
【在 s**********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : : whatever : 我说的是数据分析里面的security问题。比方说分布式的数据分析,数据存在多个 : agent里面,他们互相交换信息来分析数据(比方说做lasso分析),但是他们不希望让 : 别人全部了解自己的数据,尽管他们希望能够算出最后的结果(比方说lasso的系数) : ,他们应该怎么做?又或许如何找出某个造假的agent。又比方说如何保证互相通信的 : 时候数据不泄露给外人。 : security里面其实也很多数据分析的问题,比方说网络里面好多数据,如何发现 : intrusion,或者lier。。。
|
s**********e 发帖数: 33562 | 64 也许需要根据learning的特点重新设计security protocol
【在 d*******9 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 理论上可以把secure multiparty computation的technique套到一般的learning算法上 : 吧,不过实际速度如何不清楚
|
w***g 发帖数: 5958 | 65 我没看过Hastie那本, 但是看了眼目录, 感觉比Bishop那本更好. Hastie基本上每一章
讲的是Machine Learning的一类方法, 覆盖面很全, 篇幅分配也比较均衡. Bishop的书
其实应该叫"Bayesian Methods for PRML", 把所有的方法都纳入了贝叶斯统计的体系.
虽然很有系统性, 各种方法也都能覆盖到, 但是对于一些实用性较强的方法如SVM,
Bishop用了大量的篇幅论述这些方法的实用性不那么强的贝叶斯版本, 而忽略了这些方
法非贝叶斯的一些扩展, 感觉比较有失偏颇.
另外, Hastie和Bishop两本书貌似都没有涉及VC Theory和Generalization Error的内
容, 作为教材的话感觉缺了一大块, 得补一些Vapnik和Schapire的书中的章节.
【在 z***t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : no doubt : Hastie's book
|
z***t 发帖数: 2374 | 66 这是Hastie聪明的地方,Vapnik已经写过书了
再写也超不过Vapnik,不如不写,否则浪费大家时间和买多余纸张的钱
写ML这种研究性教材,作者必须水平高,市面上其他教材的作者和Hastie他们差太多了
即使MJ出来写,也就这水平了
说其他作者自不量力,欺骗群众,也不过分,因为Hastie的第一版很早就出来了,而且
很不错,后来几本书还远不如最早Duda的pattern classification
系.
【在 w***g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我没看过Hastie那本, 但是看了眼目录, 感觉比Bishop那本更好. Hastie基本上每一章 : 讲的是Machine Learning的一类方法, 覆盖面很全, 篇幅分配也比较均衡. Bishop的书 : 其实应该叫"Bayesian Methods for PRML", 把所有的方法都纳入了贝叶斯统计的体系. : 虽然很有系统性, 各种方法也都能覆盖到, 但是对于一些实用性较强的方法如SVM, : Bishop用了大量的篇幅论述这些方法的实用性不那么强的贝叶斯版本, 而忽略了这些方 : 法非贝叶斯的一些扩展, 感觉比较有失偏颇. : 另外, Hastie和Bishop两本书貌似都没有涉及VC Theory和Generalization Error的内 : 容, 作为教材的话感觉缺了一大块, 得补一些Vapnik和Schapire的书中的章节.
|
s**********e 发帖数: 33562 | 67 受教了。。。
【在 z***t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 这是Hastie聪明的地方,Vapnik已经写过书了 : 再写也超不过Vapnik,不如不写,否则浪费大家时间和买多余纸张的钱 : 写ML这种研究性教材,作者必须水平高,市面上其他教材的作者和Hastie他们差太多了 : 即使MJ出来写,也就这水平了 : 说其他作者自不量力,欺骗群众,也不过分,因为Hastie的第一版很早就出来了,而且 : 很不错,后来几本书还远不如最早Duda的pattern classification : : 系.
|
s**********e 发帖数: 33562 | 68 他们不是写机器学习的书的吗?为什么没有机器学习的背景呢?
【在 X******2 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 也不用过分抬高htf,他们基本不做统计理论又没有机器学习 : 背景,真要写理论那一块也未必就能有多好。
|
e*****s 发帖数: 273 | 69 那你这个不是security而属于privacy吧。最近有一篇Fienberg和Jiashun Jin写的有关
lasso PP,您放狗搜下?
【在 s**********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 他们不是写机器学习的书的吗?为什么没有机器学习的背景呢?
|
e*****s 发帖数: 273 | 70 我用Tom Mitchell的,是不是很老很不专业? |
|
|
s**********e 发帖数: 33562 | 71 多谢多谢!狗已放出,今天晚上就学习一把。
好像这方面文章还不少。
【在 e*****s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 那你这个不是security而属于privacy吧。最近有一篇Fienberg和Jiashun Jin写的有关 : lasso PP,您放狗搜下?
|
e*****s 发帖数: 273 | 72 PPDM前两年红得发紫,最近也也不弱,往BIG data上靠,合伙耍耍?
【在 s**********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 多谢多谢!狗已放出,今天晚上就学习一把。 : 好像这方面文章还不少。
|
s**********e 发帖数: 33562 | 73 PPDM是啥意思?漂漂大妈?
咱最近读这些东西,可不就是眼红big data。只怕等开始入门了,又不热了。哎,谁叫
俺的本行冷得跟冰一样呢。
【在 e*****s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : PPDM前两年红得发紫,最近也也不弱,往BIG data上靠,合伙耍耍?
|
e*****s 发帖数: 273 | 74 privacy preserving data mining
【在 s**********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : PPDM是啥意思?漂漂大妈? : 咱最近读这些东西,可不就是眼红big data。只怕等开始入门了,又不热了。哎,谁叫 : 俺的本行冷得跟冰一样呢。
|
s**********e 发帖数: 33562 | 75 收到。准备读一读。
【在 e*****s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : privacy preserving data mining
|
L***s 发帖数: 9258 | 76 军方一直问我说能不能做个hardware engine去分析网络数据流中的security和pravicy
问题。我现在的learning on chip engine可以把速度提高个几百倍,能耗效率降低几千
倍。不知道能不能用在这个上面。啥时候聊聊?
【在 s**********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 收到。准备读一读。
|
s**********e 发帖数: 33562 | 77 聊聊?有文章没有?
pravicy
几千
【在 L***s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 军方一直问我说能不能做个hardware engine去分析网络数据流中的security和pravicy : 问题。我现在的learning on chip engine可以把速度提高个几百倍,能耗效率降低几千 : 倍。不知道能不能用在这个上面。啥时候聊聊?
|
L***s 发帖数: 9258 | 78 我最近做了个neuromorphic/learning的hardware engine。
【在 s**********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 聊聊?有文章没有? : : pravicy : 几千
|
z***t 发帖数: 2374 | 79 HTF这种写法是对
他们不是不懂learning theory,相反他们理解的相当出色
这书是拿来做课本用的,不是会议文集
如果说HTF不做ML理论,那做ML理论的人很少了
ML理论不只是去证明bound,而且大部分发在COLT,SODA上的bound都没用
只有很少一部分有实际指导意义
【在 X******2 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 他们是从统计角度写的,而且重点在methodology : (在这一块统计特别是非参统计跟机器学习重和很大)。 : htf告诉你怎么做,也会从直观上说明为什么那么做, : 但没有严格的理论阐述。 : 但是cs背景的机器学习还有很重要的泛化理论(小样本 : 理论),与此对应统计里面还有一致性理论(大样本理 : 论)。没有这些理论支持,所谓的机器学习也是不完整 : 的。
|
s**********e 发帖数: 33562 | 80 牛啊。有文章没?
【在 L***s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我最近做了个neuromorphic/learning的hardware engine。
|
|
|
L***s 发帖数: 9258 | 81 有一些,其实我的CAREER就是做这个的。
【在 s**********e 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 牛啊。有文章没?
|
z***t 发帖数: 2374 | 82 那个叫LASSO的理论系统还是比较有意思的
一般来说,除了算法,能给出solution path和convergence rate的研究都算是有理论
贡献了
不觉得哪个中国人在ML领域超过HTF,至少我是高山仰止
【在 X******2 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 请问htf做什么ml理论? : 那种写法是对还是错,见仁见智。
|
s**********e 发帖数: 33562 | 83 LASSO好像很有用啊,而且跟compressive sensing关系非常大
【在 z***t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 那个叫LASSO的理论系统还是比较有意思的 : 一般来说,除了算法,能给出solution path和convergence rate的研究都算是有理论 : 贡献了 : 不觉得哪个中国人在ML领域超过HTF,至少我是高山仰止
|
s**********e 发帖数: 33562 | 84 能否指两篇出来俺学习学习?
【在 L***s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 有一些,其实我的CAREER就是做这个的。
|
z***t 发帖数: 2374 | 85 最早LASSO formal的讨论是T做的
正式提出,还有讨论和其他几个理论的connections,这个工作很重要
再早F在93年也有相关文章
LARS里,T,H也都是有很大contribution,否则Efron早就single author了
Donoho是比HTF强,其他人明显超过他们的不多 |
z***t 发帖数: 2374 | 86 You are wrong. Efron cares very much on single author.
【在 X******2 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 统计里面有不少人做了点变量选择或是玩了几下SVM就 : 号称懂机器学习了。
|
c******s 发帖数: 283 | 87 Mark
这个帖子信息量好大
对PPDM很感兴趣
★ 发自iPhone App: ChineseWeb 7.8
【在 e****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 给研究生用的话, : 哪本textbook最好呀。
|
e****g 发帖数: 4434 | 88 谢谢,
我也算在mit挖了个有质量的坑,他引超过 40
相当于发了篇 science了
【在 c******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : Mark : 这个帖子信息量好大 : 对PPDM很感兴趣 : : ★ 发自iPhone App: ChineseWeb 7.8
|
g********r 发帖数: 8017 | 89 不对呀。楼里好多都不是直接引用你原文的。不能算citation。
【在 e****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 谢谢, : 我也算在mit挖了个有质量的坑,他引超过 40 : 相当于发了篇 science了
|
s*****r 发帖数: 1426 | 90 Bishop
Duda
Hastie
【在 e****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 给研究生用的话, : 哪本textbook最好呀。
|
|
|
s*****r 发帖数: 1426 | 91 同意你的说法
LARS是新东西,lasso其实很早就提出了,只是没有系统论述
说实话LARS的推导很漂亮,比coordinate descent要强
convex下找最sparse的解,这种建模真的挺难想不到的,关键是难解
【在 X******2 的大作中提到】![](/moin_static193/solenoid/img/up.png) : lasso的那些理论根本不是tibshirani搞的。 : 他自己都觉得不够格总结最近十几年有关lasso的 : 理论发展,而要buhlmann去写某个综述。而solution : path这玩艺最早由老efron在做lars时搞出来的, : 然后才有所谓的“path frenzy"。
|
s**********e 发帖数: 33562 | |
s****s 发帖数: 368 | 93 不知道各位有多少是CS有多少统计的。怎么觉得CS这些人比俺懂得统计还多呢? |
R*******t 发帖数: 574 | 94 您说说到底什么算机器学习吧?
【在 X******2 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 统计里面有不少人做了点变量选择或是玩了几下SVM就 : 号称懂机器学习了。
|
R*******t 发帖数: 574 | 95 您也来说说什么算统计吧?
【在 s****s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 不知道各位有多少是CS有多少统计的。怎么觉得CS这些人比俺懂得统计还多呢?
|
c***4 发帖数: 114 | 96 LARS想法早两年D和他的学生就提出了,只是manuscript而已,没有给出几何的解释。
Efron他老人家给出了非常漂亮的几何证明。
TRJ的书是从统计的角度来讲述machine learning,适合做高维数据分析和统计机器学
习的研究者。
个人认为D更厉害一些。
【在 s*****r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 同意你的说法 : LARS是新东西,lasso其实很早就提出了,只是没有系统论述 : 说实话LARS的推导很漂亮,比coordinate descent要强 : convex下找最sparse的解,这种建模真的挺难想不到的,关键是难解
|
s***r 发帖数: 238 | 97 泪眼婆娑!这么多同道。前一段还以为都是bio med, 吓得俺大气都不敢出::))
★ 发自iPhone App: ChineseWeb 7.8
【在 c***4 的大作中提到】![](/moin_static193/solenoid/img/up.png) : LARS想法早两年D和他的学生就提出了,只是manuscript而已,没有给出几何的解释。 : Efron他老人家给出了非常漂亮的几何证明。 : TRJ的书是从统计的角度来讲述machine learning,适合做高维数据分析和统计机器学 : 习的研究者。 : 个人认为D更厉害一些。
|
s**********y 发帖数: 509 | 98 Bayesian 是王道。
系.
【在 w***g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我没看过Hastie那本, 但是看了眼目录, 感觉比Bishop那本更好. Hastie基本上每一章 : 讲的是Machine Learning的一类方法, 覆盖面很全, 篇幅分配也比较均衡. Bishop的书 : 其实应该叫"Bayesian Methods for PRML", 把所有的方法都纳入了贝叶斯统计的体系. : 虽然很有系统性, 各种方法也都能覆盖到, 但是对于一些实用性较强的方法如SVM, : Bishop用了大量的篇幅论述这些方法的实用性不那么强的贝叶斯版本, 而忽略了这些方 : 法非贝叶斯的一些扩展, 感觉比较有失偏颇. : 另外, Hastie和Bishop两本书貌似都没有涉及VC Theory和Generalization Error的内 : 容, 作为教材的话感觉缺了一大块, 得补一些Vapnik和Schapire的书中的章节.
|
s**********y 发帖数: 509 | 99 LARS 已经没人用了。
【在 s*****r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 同意你的说法 : LARS是新东西,lasso其实很早就提出了,只是没有系统论述 : 说实话LARS的推导很漂亮,比coordinate descent要强 : convex下找最sparse的解,这种建模真的挺难想不到的,关键是难解
|
c***4 发帖数: 114 | 100 don't think so...
【在 s**********y 的大作中提到】![](/moin_static193/solenoid/img/up.png) : Bayesian 是王道。 : : 系.
|
|
|
c***4 发帖数: 114 | 101 你这个说法太片面了。
首先,lars作为一个不基于优化的算法,它的性质很值得研究,当然我们已经很清楚了
。比如它的homotopy性质, 等角行和zero-crossing,和greedy,stepwise算法的关
系,等等。
其次,lars并不是没有人在用。除非你的data large-scale到hadoop级别的框架。我
认为有imaging的人在用这个算法。
再则,如果你非要argue stochastic gradient descent,我认为这充其量也就是计算
上的贡献。
【在 s**********y 的大作中提到】![](/moin_static193/solenoid/img/up.png) : LARS 已经没人用了。
|
b*****t 发帖数: 1700 | 102 TRJ的书是哪一本啊?
【在 c***4 的大作中提到】![](/moin_static193/solenoid/img/up.png) : LARS想法早两年D和他的学生就提出了,只是manuscript而已,没有给出几何的解释。 : Efron他老人家给出了非常漂亮的几何证明。 : TRJ的书是从统计的角度来讲述machine learning,适合做高维数据分析和统计机器学 : 习的研究者。 : 个人认为D更厉害一些。
|
m*******g 发帖数: 209 | 103 Elements of Statistical Learning
搭配
Pattern Recognition and Machine Learning
一个给框架,一个给方法。 |
m*******g 发帖数: 209 | 104 不过很多书想有效看,前提是学过:
Convex Optimization
一本万金油书。 |
R*******t 发帖数: 574 | |
M*P 发帖数: 6456 | 106 这本没人提?
http://www.cs.ubc.ca/~murphyk/MLbook/
我觉得这个的方法讲的很细。另外两本感觉没有这么多细节
【在 e****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 给研究生用的话, : 哪本textbook最好呀。
|
m********o 发帖数: 98 | 107 楼上说的这本typo实在太多了。。。
我觉得Hastie和Bishop的都不错,Hastie的讲的好,Bishop的好多图很直观,帮助理解 |
T*****u 发帖数: 7103 | 108 hastie的书吧,都免费。tom mitchelle的要200多一本。都是人,差别咋这么大涅。 |