w********s
发帖数: 1570 | 1 现在知道，这完全是不同类的技术
比如实时计算，大数据里常说的是storm，分布式流计算，latency有10秒之居
好处在于容错，和扩展性，比如down了某个节点，对计算没有影响，扩展也很容易。
很类似在分布式集群上虚拟了一个计算
公司内，即使对storm重写了一遍，latency也要有ms级别，所以latency是弱点，
throughput的话，每天处理的数据量在几十TB级别左右
当然你用storm搭trading system也可以，就是完全满足不了latency要求，但扩容非常
容易，只要加机器，而且可以在运行的过程中加。 |
L*******t
发帖数: 2385 | 2 高人能否说说，大数据和大金工有啥联系？
【在 w********s 的大作中提到】
: 现在知道，这完全是不同类的技术
: 比如实时计算，大数据里常说的是storm，分布式流计算，latency有10秒之居
: 好处在于容错，和扩展性，比如down了某个节点，对计算没有影响，扩展也很容易。
: 很类似在分布式集群上虚拟了一个计算
: 公司内，即使对storm重写了一遍，latency也要有ms级别，所以latency是弱点，
: throughput的话，每天处理的数据量在几十TB级别左右
: 当然你用storm搭trading system也可以，就是完全满足不了latency要求，但扩容非常
: 容易，只要加机器，而且可以在运行的过程中加。
|
s*******0
发帖数: 3461 | 3 哎 能不能 不要在金工前面加一个大 呵呵
明明是一个坑爹的专业 |
n******t
发帖数: 4406 | 4 大部分的金融系统，都不需要很低的latency。很多时候latency只是一个marketing
term而已.
真的要搞ultra low latency HFT的，也不需要分布式。
【在 w********s 的大作中提到】
: 现在知道，这完全是不同类的技术
: 比如实时计算，大数据里常说的是storm，分布式流计算，latency有10秒之居
: 好处在于容错，和扩展性，比如down了某个节点，对计算没有影响，扩展也很容易。
: 很类似在分布式集群上虚拟了一个计算
: 公司内，即使对storm重写了一遍，latency也要有ms级别，所以latency是弱点，
: throughput的话，每天处理的数据量在几十TB级别左右
: 当然你用storm搭trading system也可以，就是完全满足不了latency要求，但扩容非常
: 容易，只要加机器，而且可以在运行的过程中加。
|
c***z
发帖数: 6348 | 5 Good to know.
Also most big data projects don't need big data because of batch processing,
and it is a marketing term as well.
【在 n******t 的大作中提到】
: 大部分的金融系统，都不需要很低的latency。很多时候latency只是一个marketing
: term而已.
: 真的要搞ultra low latency HFT的，也不需要分布式。
|
w********s
发帖数: 1570 | 6 RT和batch是2块
processing,
【在 c***z 的大作中提到】
: Good to know.
: Also most big data projects don't need big data because of batch processing,
: and it is a marketing term as well.
|
l*********g
发帖数: 1899 | 7 你很smart哦。:D
【在 n******t 的大作中提到】
: 大部分的金融系统，都不需要很低的latency。很多时候latency只是一个marketing
: term而已.
: 真的要搞ultra low latency HFT的，也不需要分布式。
|
n******t
发帖数: 4406 | 8 big data已经没point了，现在任何和data相关的东西，都可以被扯成big data。
processing,
【在 c***z 的大作中提到】
: Good to know.
: Also most big data projects don't need big data because of batch processing,
: and it is a marketing term as well.
|
