l*********e 发帖数: 244 | 1 我自己做了一个project,就是用
10000+ features to predict four biological scores.
我现在就是拿predicted scores和groundtruth算一下RMSE来衡量预测效果
我想请问有啥方法能衡量significance或者sample size之类的?
谢谢 |
s********r 发帖数: 70 | 2 算几个距离,可以考虑用k-s test, energy distance, earth mover distance. |
b******g 发帖数: 77 | 3 eval要找对产品有决定意义的metrics。
RMSE本身是没有意思,比如有两个模型预测股价,A的误差小,但是老把赚钱亏钱弄反
,B的误差大,但是误差方向随机。如果跑n次买卖股票的simulation,B的结果会更好。
比如你的score是用来从一大堆药里找备选药,那么有用的metrics就是比如1000个随机
药里,有用的那个药score最大的概率。 |
t*********g 发帖数: 1 | 4 万能法则:Boostrap或cross validation等resampling methods.
【在 l*********e 的大作中提到】 : 我自己做了一个project,就是用 : 10000+ features to predict four biological scores. : 我现在就是拿predicted scores和groundtruth算一下RMSE来衡量预测效果 : 我想请问有啥方法能衡量significance或者sample size之类的? : 谢谢
|