m******h
发帖数: 74 | 1 问个大数据的问题，
假设我有一个sensor，接受streaming data, 数据进来以后就process（一些general
的 signal processing, filtering, feature extracting), 目的是anormaly
detection, 所以输出是whether or not abormaly is detected. 这些是算法问题，可
以解决。
现在的问题是如果我有1 million 这样的sensor, 相互之间是独立的，每个sensor
streaming进来自己的data, 同样的data processing 算法来对它自己收到的data 做
anormaly detection。
怎么才能让这个big data 问题最优化？ 怎么设计系统和平行算法？
我本人做算法，不是data scientist, 所以请教大牛们！ 谢谢！ |
T*****u
发帖数: 7103 | 2 sensor独立是什么意思？sensor探测到的data相互独立吗？ |
m******h
发帖数: 74 | 3 是的，就是假设sensor探测到的data相互独立。信号处理算法只处理自己的sensor
data，不存在depend on data from other sensors.
谢谢！
【在 T*****u 的大作中提到】
: sensor独立是什么意思？sensor探测到的data相互独立吗？
|
l******n
发帖数: 9344 | 4 你要最优化什么？因为如果你的streaming data是连续的，那你的负载就完全均衡，假
设你有100个nodes，那就每个node处理10k的 sensor的data。
没啥可设计的
【在 m******h 的大作中提到】
: 问个大数据的问题，
: 假设我有一个sensor，接受streaming data, 数据进来以后就process（一些general
: 的 signal processing, filtering, feature extracting), 目的是anormaly
: detection, 所以输出是whether or not abormaly is detected. 这些是算法问题，可
: 以解决。
: 现在的问题是如果我有1 million 这样的sensor, 相互之间是独立的，每个sensor
: streaming进来自己的data, 同样的data processing 算法来对它自己收到的data 做
: anormaly detection。
: 怎么才能让这个big data 问题最优化？ 怎么设计系统和平行算法？
: 我本人做算法，不是data scientist, 所以请教大牛们！ 谢谢！
|
T*****u
发帖数: 7103 | 5 你要设计啥啊？是试图用最少的机器来handle anormaly吗？ |
m******h
发帖数: 74 | 6 谢谢上面两位的回答。我不是data scientist, 所以问的可能太general。
我知道肯定得distributed,但比如说怎么决定是100，还是1000 nodes，哪个更好？
1000 个nodes肯定更快，但有什么缺点？ （数据传输？）
从data science 的角度， 怎么个分析处理这样的问题呢？ 这是别人问我的一个open
问题，不是让我说个答案, 而是让我想想从仅仅处理一个sensor, 到要处理million 个
，怎么解决这个问题。
谢谢 |
o****n
发帖数: 348 | 7 你这个问题听起来更像分布式系统或者并行计算的问题 |
m******h
发帖数: 74 | 8 是啊，我以为hadoop什么的就是用分布式系统或者并行计算来解决问题，所以才来请教
的呀。
问我的人什么提示也没给，但我知道他们做的东西和grid computing, cloud
computing, hadoop, Hbase, Spark什么的有关。
【在 o****n 的大作中提到】
: 你这个问题听起来更像分布式系统或者并行计算的问题
|
j*******n
发帖数: 48 | 9 Sensor stream can be sharded. Check out aws kinesis.
【在 m******h 的大作中提到】
: 是啊，我以为hadoop什么的就是用分布式系统或者并行计算来解决问题，所以才来请教
: 的呀。
: 问我的人什么提示也没给，但我知道他们做的东西和grid computing, cloud
: computing, hadoop, Hbase, Spark什么的有关。
|
m******h
发帖数: 74 | 10 问个大数据的问题，
假设我有一个sensor，接受streaming data, 数据进来以后就process（一些general
的 signal processing, filtering, feature extracting), 目的是anormaly
detection, 所以输出是whether or not abormaly is detected. 这些是算法问题，可
以解决。
现在的问题是如果我有1 million 这样的sensor, 相互之间是独立的，每个sensor
streaming进来自己的data, 同样的data processing 算法来对它自己收到的data 做
anormaly detection。
怎么才能让这个big data 问题最优化？ 怎么设计系统和平行算法？
我本人做算法，不是data scientist, 所以请教大牛们！ 谢谢！ |
|
|
T*****u
发帖数: 7103 | 11 sensor独立是什么意思？sensor探测到的data相互独立吗？ |
m******h
发帖数: 74 | 12 是的，就是假设sensor探测到的data相互独立。信号处理算法只处理自己的sensor
data，不存在depend on data from other sensors.
谢谢！
【在 T*****u 的大作中提到】
: sensor独立是什么意思？sensor探测到的data相互独立吗？
|
l******n
发帖数: 9344 | 13 你要最优化什么？因为如果你的streaming data是连续的，那你的负载就完全均衡，假
设你有100个nodes，那就每个node处理10k的 sensor的data。
没啥可设计的
【在 m******h 的大作中提到】
: 问个大数据的问题，
: 假设我有一个sensor，接受streaming data, 数据进来以后就process（一些general
: 的 signal processing, filtering, feature extracting), 目的是anormaly
: detection, 所以输出是whether or not abormaly is detected. 这些是算法问题，可
: 以解决。
: 现在的问题是如果我有1 million 这样的sensor, 相互之间是独立的，每个sensor
: streaming进来自己的data, 同样的data processing 算法来对它自己收到的data 做
: anormaly detection。
: 怎么才能让这个big data 问题最优化？ 怎么设计系统和平行算法？
: 我本人做算法，不是data scientist, 所以请教大牛们！ 谢谢！
|
T*****u
发帖数: 7103 | 14 你要设计啥啊？是试图用最少的机器来handle anormaly吗？ |
m******h
发帖数: 74 | 15 谢谢上面两位的回答。我不是data scientist, 所以问的可能太general。
我知道肯定得distributed,但比如说怎么决定是100，还是1000 nodes，哪个更好？
1000 个nodes肯定更快，但有什么缺点？ （数据传输？）
从data science 的角度， 怎么个分析处理这样的问题呢？ 这是别人问我的一个open
问题，不是让我说个答案, 而是让我想想从仅仅处理一个sensor, 到要处理million 个
，怎么解决这个问题。
谢谢 |
o****n
发帖数: 348 | 16 你这个问题听起来更像分布式系统或者并行计算的问题 |
m******h
发帖数: 74 | 17 是啊，我以为hadoop什么的就是用分布式系统或者并行计算来解决问题，所以才来请教
的呀。
问我的人什么提示也没给，但我知道他们做的东西和grid computing, cloud
computing, hadoop, Hbase, Spark什么的有关。
【在 o****n 的大作中提到】
: 你这个问题听起来更像分布式系统或者并行计算的问题
|
j*******n
发帖数: 48 | 18 Sensor stream can be sharded. Check out aws kinesis.
【在 m******h 的大作中提到】
: 是啊，我以为hadoop什么的就是用分布式系统或者并行计算来解决问题，所以才来请教
: 的呀。
: 问我的人什么提示也没给，但我知道他们做的东西和grid computing, cloud
: computing, hadoop, Hbase, Spark什么的有关。
|
m******h
发帖数: 74 | 19 谢谢！ 简单看了一下，好像 aws kinesis 解决这个问题很有用。 深入学习中......
【在 j*******n 的大作中提到】
: Sensor stream can be sharded. Check out aws kinesis.
|
