b*****k
发帖数: 483 | 1 小弟正在做神经网络方面的项目（统计外行），训练模型的过程中，有一个指标X可能
是随着训练进程大概下降的。所以，我希望能用一种科学的方法检测到某一个指标随时
间下降的行为。
1 短时间来看，X可能时而上升时而下降，所以不能直接两个时间点比一下就下结论。
2 宏观的下降速度不确定，可能下降得快，也可能下降得慢。而且下降速度也不稳定，
可能下降一会儿趋于平缓，然后突然变快。
请问有没有什么科学的方法能实现下降行为检测：这里不需要非黑即白的100%确定，而
是在某个时刻T得到目前为止确认“下降”这个行为的置信度（confidence score）？
比如在某个时刻T，基于T以前的观察，在当前时刻有25%的可能性确定X是随时间下降的
，过了一会儿这个概率就会变成35%了。不知道我这么想对不对，请统计大神们指点迷
津啊。 |
b********1
发帖数: 291 | 2 那我老就就大言不惭指点指点你。
1. 会调用r么 ？ r里面各种包，有的是。 比较有名的比如changepoint, 可以试试。
2. 其实凡是能检测outlier的，都能干你这事。能检测outlier的包，不计其数。 你自
己写一个也没什么不行的， 你自己都说出来了， 取一百个点， 平均值，方差算一下
，当前的点算个分数，80%以内算正常， 80%以上算有变化。 |
b*****k
发帖数: 483 | 3 多谢大侠指点。我不是数据科学或者统计背景，R从来没用过。
虽然我们只需要一个简单的工程实现，像您说的，每100个时间点算一个mean和方差，
然后后100个点的mean如果小于刚才得到方差的80%， 则说明很可能是一个下降趋势。
但是组里老板是那种喜欢看公式，看定理和看大名词的人，所以我希望找到一些统计专
家们公认的算法（比如引自某某paper）来说服他 。。。
而且我觉得我这个问题不太像outlier检测，而更像是趋势检测，不知道有什么fancy的
算法能搭上边。
恳请大侠推荐一些相关文献或者关键词 ：）
【在 b********1 的大作中提到】
: 那我老就就大言不惭指点指点你。
: 1. 会调用r么 ？ r里面各种包，有的是。 比较有名的比如changepoint, 可以试试。
: 2. 其实凡是能检测outlier的，都能干你这事。能检测outlier的包，不计其数。 你自
: 己写一个也没什么不行的， 你自己都说出来了， 取一百个点， 平均值，方差算一下
: ，当前的点算个分数，80%以内算正常， 80%以上算有变化。
|
b********1
发帖数: 291 | |
l*****9
发帖数: 1 | 5 时间序列里面change point detection吧，挑一个包就行，一般一个包都会跟着一篇文
章。选一个jasa的 |
t*********g
发帖数: 1 | 6 CUSUM chart
累积和（Cumulative Sum，CUSUM）是一种序贯分析法，由剑桥大学的 E. S. Page 于
1954年首先提出。
累积和用以在某个相对稳定的数据序列中，检测出开始发生异常的数据点。所谓异常的
数据点，比如说，从这点开始，整个数列的平均值或者均方差开始发生改变，进而影响
到整组数据的稳定。所以累积和最典型的应用是在“改变检测”（Change Detection）
中对参量变化的检测。由于累积和管制法能充分利用数据变化之顺序与大小,故相当适
合用于侦测制程的微量变化(small shifts)
https://zh.wikipedia.org/wiki/%E7%B4%AF%E7%A7%AF%E5%92%8C
【在 b*****k 的大作中提到】
: 小弟正在做神经网络方面的项目（统计外行），训练模型的过程中，有一个指标X可能
: 是随着训练进程大概下降的。所以，我希望能用一种科学的方法检测到某一个指标随时
: 间下降的行为。
: 1 短时间来看，X可能时而上升时而下降，所以不能直接两个时间点比一下就下结论。
: 2 宏观的下降速度不确定，可能下降得快，也可能下降得慢。而且下降速度也不稳定，
: 可能下降一会儿趋于平缓，然后突然变快。
: 请问有没有什么科学的方法能实现下降行为检测：这里不需要非黑即白的100%确定，而
: 是在某个时刻T得到目前为止确认“下降”这个行为的置信度（confidence score）？
: 比如在某个时刻T，基于T以前的观察，在当前时刻有25%的可能性确定X是随时间下降的
: ，过了一会儿这个概率就会变成35%了。不知道我这么想对不对，请统计大神们指点迷
|
l******n
发帖数: 9344 | 7 考虑时间序列的decomposition，大多数情况是考虑additive,分解成level,trend,
seasonality和noise
你现在只看trend。。。
【在 b*****k 的大作中提到】
: 小弟正在做神经网络方面的项目（统计外行），训练模型的过程中，有一个指标X可能
: 是随着训练进程大概下降的。所以，我希望能用一种科学的方法检测到某一个指标随时
: 间下降的行为。
: 1 短时间来看，X可能时而上升时而下降，所以不能直接两个时间点比一下就下结论。
: 2 宏观的下降速度不确定，可能下降得快，也可能下降得慢。而且下降速度也不稳定，
: 可能下降一会儿趋于平缓，然后突然变快。
: 请问有没有什么科学的方法能实现下降行为检测：这里不需要非黑即白的100%确定，而
: 是在某个时刻T得到目前为止确认“下降”这个行为的置信度（confidence score）？
: 比如在某个时刻T，基于T以前的观察，在当前时刻有25%的可能性确定X是随时间下降的
: ，过了一会儿这个概率就会变成35%了。不知道我这么想对不对，请统计大神们指点迷
|
