l*********e
发帖数: 244 | 1 我自己做了一个project，就是用
10000+ features to predict four biological scores.
我现在就是拿predicted scores和groundtruth算一下RMSE来衡量预测效果
我想请问有啥方法能衡量significance或者sample size之类的？
谢谢 |
s********r
发帖数: 70 | 2 算几个距离,可以考虑用k-s test, energy distance, earth mover distance. |
b******g
发帖数: 77 | 3 eval要找对产品有决定意义的metrics。
RMSE本身是没有意思，比如有两个模型预测股价，A的误差小，但是老把赚钱亏钱弄反
，B的误差大，但是误差方向随机。如果跑n次买卖股票的simulation，B的结果会更好。
比如你的score是用来从一大堆药里找备选药，那么有用的metrics就是比如1000个随机
药里，有用的那个药score最大的概率。 |
t*********g
发帖数: 1 | 4 万能法则:Boostrap或cross validation等resampling methods.
【在 l*********e 的大作中提到】
: 我自己做了一个project，就是用
: 10000+ features to predict four biological scores.
: 我现在就是拿predicted scores和groundtruth算一下RMSE来衡量预测效果
: 我想请问有啥方法能衡量significance或者sample size之类的？
: 谢谢
|
