w********s 发帖数: 1570 | 1 现在知道,这完全是不同类的技术
比如实时计算,大数据里常说的是storm,分布式流计算,latency有10秒之居
好处在于容错,和扩展性,比如down了某个节点,对计算没有影响,扩展也很容易。
很类似在分布式集群上虚拟了一个计算
公司内,即使对storm重写了一遍,latency也要有ms级别,所以latency是弱点,
throughput的话,每天处理的数据量在几十TB级别左右
当然你用storm搭trading system也可以,就是完全满足不了latency要求,但扩容非常
容易,只要加机器,而且可以在运行的过程中加。 |
L*******t 发帖数: 2385 | 2 高人能否说说,大数据和大金工有啥联系?
【在 w********s 的大作中提到】 : 现在知道,这完全是不同类的技术 : 比如实时计算,大数据里常说的是storm,分布式流计算,latency有10秒之居 : 好处在于容错,和扩展性,比如down了某个节点,对计算没有影响,扩展也很容易。 : 很类似在分布式集群上虚拟了一个计算 : 公司内,即使对storm重写了一遍,latency也要有ms级别,所以latency是弱点, : throughput的话,每天处理的数据量在几十TB级别左右 : 当然你用storm搭trading system也可以,就是完全满足不了latency要求,但扩容非常 : 容易,只要加机器,而且可以在运行的过程中加。
|
s*******0 发帖数: 3461 | 3 哎 能不能 不要在金工前面加一个大 呵呵
明明是一个坑爹的专业 |
n******t 发帖数: 4406 | 4 大部分的金融系统,都不需要很低的latency。很多时候latency只是一个marketing
term而已.
真的要搞ultra low latency HFT的,也不需要分布式。
【在 w********s 的大作中提到】 : 现在知道,这完全是不同类的技术 : 比如实时计算,大数据里常说的是storm,分布式流计算,latency有10秒之居 : 好处在于容错,和扩展性,比如down了某个节点,对计算没有影响,扩展也很容易。 : 很类似在分布式集群上虚拟了一个计算 : 公司内,即使对storm重写了一遍,latency也要有ms级别,所以latency是弱点, : throughput的话,每天处理的数据量在几十TB级别左右 : 当然你用storm搭trading system也可以,就是完全满足不了latency要求,但扩容非常 : 容易,只要加机器,而且可以在运行的过程中加。
|
c***z 发帖数: 6348 | 5 Good to know.
Also most big data projects don't need big data because of batch processing,
and it is a marketing term as well.
【在 n******t 的大作中提到】 : 大部分的金融系统,都不需要很低的latency。很多时候latency只是一个marketing : term而已. : 真的要搞ultra low latency HFT的,也不需要分布式。
|
w********s 发帖数: 1570 | 6 RT和batch是2块
processing,
【在 c***z 的大作中提到】 : Good to know. : Also most big data projects don't need big data because of batch processing, : and it is a marketing term as well.
|
l*********g 发帖数: 1899 | 7 你很smart哦。:D
【在 n******t 的大作中提到】 : 大部分的金融系统,都不需要很低的latency。很多时候latency只是一个marketing : term而已. : 真的要搞ultra low latency HFT的,也不需要分布式。
|
n******t 发帖数: 4406 | 8 big data已经没point了,现在任何和data相关的东西,都可以被扯成big data。
processing,
【在 c***z 的大作中提到】 : Good to know. : Also most big data projects don't need big data because of batch processing, : and it is a marketing term as well.
|