c*****e
发帖数: 3226 | 1 问个问题，reduce的时候，exexutor如何分配的使得它如何知道它应该去取比如 key
='
b'的数据from remote block manager
换句话说就是 如何分配executor 收集那个 key from buckets,特别是 sorted 的情况下 |
d*****n
发帖数: 754 | 2 牛二行不？
[在 capcase (gotmail) 的大作中提到：]
问个问题，reduce的时候，exexutor如何分配的使得它如何知道它应该去取比如
key='
况下 |
d****n
发帖数: 12461 | 3 spark有node awareness和rack awareness，一般都是按照data locality来，一个
executor core一次处理一个hdfs block。
问个问题，reduce的时候，exexutor如何分配的使得它如何知道它应该去取比如 key
况下
【在 c*****e 的大作中提到】
: 问个问题，reduce的时候，exexutor如何分配的使得它如何知道它应该去取比如 key
: ='
: b'的数据from remote block manager
: 换句话说就是 如何分配executor 收集那个 key from buckets,特别是 sorted 的情况下
|
c*****e
发帖数: 3226 | 4 这个是完美答案：
consolidateFiles采用的是一个reduce一个文件，它还记录了每个map的写入起始位置
，所以查找的时候
1）先通过reduceId查找到哪个文件，
2）再通过mapId查找索引当中的起始位置offset，长度length=（mapId + 1）.offset
-（mapId）.offset，这样就可以确定一个FileSegment(file, offset, length)。
【在 d****n 的大作中提到】
: spark有node awareness和rack awareness，一般都是按照data locality来，一个
: executor core一次处理一个hdfs block。
:
: 问个问题，reduce的时候，exexutor如何分配的使得它如何知道它应该去取比如 key
: 况下
|
l**********0
发帖数: 150 | 5 如果有代码位置引用就好了
offset
【在 c*****e 的大作中提到】
: 这个是完美答案：
: consolidateFiles采用的是一个reduce一个文件，它还记录了每个map的写入起始位置
: ，所以查找的时候
: 1）先通过reduceId查找到哪个文件，
: 2）再通过mapId查找索引当中的起始位置offset，长度length=（mapId + 1）.offset
: -（mapId）.offset，这样就可以确定一个FileSegment(file, offset, length)。
|
h**********c
发帖数: 4120 | 6 版上哪里有什么大牛，语无伦次的人很多，是吧？
同意的举手，dumb up. |
