D*****d
发帖数: 1307 | 1 直接相加除以 count 会溢出吧？
我觉得用 combiner 算
然后reducer 继续合并？
但这样会不会造成误差积累和误差分布不平均？ |
g*c
发帖数: 4510 | 2 用map task算partition total
用reduce task算total和average
datatype是double
可否？
【在 D*****d 的大作中提到】
: 直接相加除以 count 会溢出吧？
: 我觉得用 combiner 算
: 然后reducer 继续合并？
: 但这样会不会造成误差积累和误差分布不平均？
|
w****e
发帖数: 586 | 3 不明白你的限制和精度要求。如果就一般双精度浮点都能溢出的话，你算的是啥天文数
字。。
把所有数都归一化到10^200以下，你还能有10^100个数不成
如果要求超高精度，什么几十上百个有效数字，那就另说了 |
e*******o
发帖数: 2271 | 4 是正确解法。上Combiner。怕数值不稳定，就random shuffle一遍再
加。 |
g*c
发帖数: 4510 | 5 为啥不能是（count, total）？
【在 e*******o 的大作中提到】
: 是正确解法。上Combiner。怕数值不稳定，就random shuffle一遍再
: 加。
|
