由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Statistics版 - 求问R并行计算问题
相关主题
parallelism真的效率高请教如何用R处理比较大的文件。
问个sas library的问题求助:怎么把一个macro值作运算后赋给另一个macro?
R doSNOW求教[技术]怎么让Core2Duo的电脑发挥全部的作用
R里如何加速convolution计算请教群里的大侠一个统计的问题
新手求教:linux下怎么跑R文件?R subset的问题
R语言能否对大数据库运行中去重复?请问一个初步的R问题
[合集] excel并行一问,急~~~请教如何在 R 里进行简单的并行计算
SAS 问题问个日期运算的问题
相关话题的讨论汇总
话题: kummeru话题: library话题: 运算话题: parallel
进入Statistics版参与讨论
1 (共1页)
m****e
发帖数: 488
1
需要用R做并行运算。我运用的算法大体如下:
library(snowfall)
sfInit(parallel=TRUE, cpus=3,type="SOCK") #for windows
sfExportAll( )
library(fAsianOptions) # for kummerU
……
segment<-function(x){
……
kummerU(x…)
……
}
sfLapply(1:M,segment)
……
sfStop()
运算老是出错。出错信息如下:
Error in checkForRemoteErrors(val) :
3 nodes produced errors; first error: could not find function "kummerU"
这个是说找不到“kummerU”? 可是有library(fAsianOptions),而且单独运算的时候也
没这个问题。
谢谢~
m****e
发帖数: 488
2
DING

【在 m****e 的大作中提到】
: 需要用R做并行运算。我运用的算法大体如下:
: library(snowfall)
: sfInit(parallel=TRUE, cpus=3,type="SOCK") #for windows
: sfExportAll( )
: library(fAsianOptions) # for kummerU
: ……
: segment<-function(x){
: ……
: kummerU(x…)
: ……

t*****i
发帖数: 426
3
没有研究过这个问题,但是好像在哪儿看到过类似的问题,不是用snowfall,用的是
snow。是不是只有在master node 上安装了你要用的library,在slave node上没有安
装?
d******k
发帖数: 141
4
不是很确定我的想法,我猜测下,那个sfExportAll()在library(fAsianOptions)的前
面,那么fAsianOptions可能只在master processor上load了,没有被exported到slave
processors上?是不是把这两行命令调换下顺序?
我最近也在接触parallel computing in R的东西,能不能顺便问下,你大概是要解决
什么问题从而要用到parallel computing的?谢谢~

【在 m****e 的大作中提到】
: 需要用R做并行运算。我运用的算法大体如下:
: library(snowfall)
: sfInit(parallel=TRUE, cpus=3,type="SOCK") #for windows
: sfExportAll( )
: library(fAsianOptions) # for kummerU
: ……
: segment<-function(x){
: ……
: kummerU(x…)
: ……

m****e
发帖数: 488
5
都安了啊

【在 t*****i 的大作中提到】
: 没有研究过这个问题,但是好像在哪儿看到过类似的问题,不是用snowfall,用的是
: snow。是不是只有在master node 上安装了你要用的library,在slave node上没有安
: 装?

m****e
发帖数: 488
6
哦,我只是R code运行太慢,要提交到server上去运算 :)

slave

【在 d******k 的大作中提到】
: 不是很确定我的想法,我猜测下,那个sfExportAll()在library(fAsianOptions)的前
: 面,那么fAsianOptions可能只在master processor上load了,没有被exported到slave
: processors上?是不是把这两行命令调换下顺序?
: 我最近也在接触parallel computing in R的东西,能不能顺便问下,你大概是要解决
: 什么问题从而要用到parallel computing的?谢谢~

k*******a
发帖数: 772
7
Not sure about snowfall package, but in snow package, you need to initialize
for each node. That means you need to load the library for each node.
You can try to download/buy the book "Parallel R", which explained in
details
1 (共1页)
进入Statistics版参与讨论
相关主题
问个日期运算的问题新手求教:linux下怎么跑R文件?
mathematica是不是可以对formula进行求导运算?R语言能否对大数据库运行中去重复?
如何对下标运算,从而产生如下子序列。[合集] excel并行一问,急~~~
【请教】build R的问题SAS 问题
parallelism真的效率高请教如何用R处理比较大的文件。
问个sas library的问题求助:怎么把一个macro值作运算后赋给另一个macro?
R doSNOW求教[技术]怎么让Core2Duo的电脑发挥全部的作用
R里如何加速convolution计算请教群里的大侠一个统计的问题
相关话题的讨论汇总
话题: kummeru话题: library话题: 运算话题: parallel