o******1 发帖数: 1046 | 1 同样是distributed computing,我觉得mpi library比mapreduce要强大和flexible多
了。
开始以为mpi不支持java,所以大家不得不用mapreduce。最近查了一下,open mpi好像
有java interface和compiler (mpijava)。
能不能在hadoop(java)的程序中import进来open mpi的java interface,然后调用里面
的函数,比如MPI_Scatter, MPI_Send, MPI_Recv之类的函数呢?
谢谢! |
z****e 发帖数: 54598 | 2 当然可以
我记得yarn就有hpc的接口
但是你现在想用openmpi
那两个产品之间的集成需要你自己去处理了
一些傻瓜化的操作就没戏了 |
o******1 发帖数: 1046 | 3 多谢回复!
接口集成原先没人做过吗?大家都很喜欢mapreduce这么僵化的风格吗?
【在 z****e 的大作中提到】 : 当然可以 : 我记得yarn就有hpc的接口 : 但是你现在想用openmpi : 那两个产品之间的集成需要你自己去处理了 : 一些傻瓜化的操作就没戏了
|
g*****g 发帖数: 34805 | 4 mpi and mapreduce are for different use cases. MR is for ETL, which
typically has bottleneck on IO. MPI is more for computation intensive tasks.
【在 o******1 的大作中提到】 : 同样是distributed computing,我觉得mpi library比mapreduce要强大和flexible多 : 了。 : 开始以为mpi不支持java,所以大家不得不用mapreduce。最近查了一下,open mpi好像 : 有java interface和compiler (mpijava)。 : 能不能在hadoop(java)的程序中import进来open mpi的java interface,然后调用里面 : 的函数,比如MPI_Scatter, MPI_Send, MPI_Recv之类的函数呢? : 谢谢!
|
o******1 发帖数: 1046 | 5 在与hard drive并行i/o的时候用mapper没问题。但是还有其它的需要啊,比如说node
i想送一段数据给node j,mapreduce唯一的办法就是node i写到hdfs上,然后node j再
去读。如果允许节点间的直接数据传输,是内存进网络再进内存,省去了硬盘的读写,
效率肯定更高啊。
tasks.
【在 g*****g 的大作中提到】 : mpi and mapreduce are for different use cases. MR is for ETL, which : typically has bottleneck on IO. MPI is more for computation intensive tasks.
|
g*****g 发帖数: 34805 | 6 That's because node i writing to node j is not reliable. MR is designed to
work on commodity hardware where a node can fail any time.
node
【在 o******1 的大作中提到】 : 在与hard drive并行i/o的时候用mapper没问题。但是还有其它的需要啊,比如说node : i想送一段数据给node j,mapreduce唯一的办法就是node i写到hdfs上,然后node j再 : 去读。如果允许节点间的直接数据传输,是内存进网络再进内存,省去了硬盘的读写, : 效率肯定更高啊。 : : tasks.
|