x**g
发帖数: 807 | 1 遇到一个存储空间的问题，诚心请教版上大牛们。问题是这样的，
我在64位的台式机上做一个Bootstraping，用Type=bca算置信区间。机器也是64位的，
Windows操作系统，4GB RAM。机器上装的R也是64位的，并且修改了设置。
memory.size(1000000000000)
谁知算到一半，得到一个warning message如下：
Error: cannot allocate memory block of size 2.3 Gb
请问，我该怎样做才可以把这个Error消除掉，继续运算得到结果呢？ |
r*****t
发帖数: 91 | 2 你这个问题我之前也遇到过，网上搜索了各种方法都不管用（网上有很多解决方法但是
都是针对溢出很小的size的，但是你那个是2.3G也过于大，估计不太容易work），然后
只能用多核处理器(>8 cores)的做parallel computation了。 |
x**g
发帖数: 807 | 3 这个Parallel computation是怎么回事？实验室里的台式机能做吗？还是需要用于转么
运算的SuperComputer来做呢？
【在 r*****t 的大作中提到】
: 你这个问题我之前也遇到过，网上搜索了各种方法都不管用（网上有很多解决方法但是
: 都是针对溢出很小的size的，但是你那个是2.3G也过于大，估计不太容易work），然后
: 只能用多核处理器(>8 cores)的做parallel computation了。
|
j******4
发帖数: 6090 | 4 有多个处理器的电脑应该都可以做，只是用super computer肯定更快
【在 x**g 的大作中提到】
: 这个Parallel computation是怎么回事？实验室里的台式机能做吗？还是需要用于转么
: 运算的SuperComputer来做呢？
|
s*********e
发帖数: 1051 | 5 没那么复杂。程序改改就行了。
【在 x**g 的大作中提到】
: 遇到一个存储空间的问题，诚心请教版上大牛们。问题是这样的，
: 我在64位的台式机上做一个Bootstraping，用Type=bca算置信区间。机器也是64位的，
: Windows操作系统，4GB RAM。机器上装的R也是64位的，并且修改了设置。
: memory.size(1000000000000)
: 谁知算到一半，得到一个warning message如下：
: Error: cannot allocate memory block of size 2.3 Gb
: 请问，我该怎样做才可以把这个Error消除掉，继续运算得到结果呢？
|
o****o
发帖数: 8077 | 6 我用32G的机器也会遇到这个问题，是跟R的indexing有关么？
并行计算就用过foreach包，还挺好用的，还有别的推荐么？ |
x**g
发帖数: 807 | 7 能详细说说吗？怎么改程序呢？
【在 s*********e 的大作中提到】
: 没那么复杂。程序改改就行了。
|
s*********e
发帖数: 1051 | 8 删掉没用的临时数据，把数据存在硬盘上，把内存释放出来。。。
【在 x**g 的大作中提到】
: 能详细说说吗？怎么改程序呢？
|
x**g
发帖数: 807 | 9 en, 这些已经试过了，可是仍然没有帮助。我也在想，对于大的数据的data
manapulation 和 analysis in R， 大家是怎么做的呢？有没有相关的书或者文献可以
参考的？
【在 s*********e 的大作中提到】
: 删掉没用的临时数据，把数据存在硬盘上，把内存释放出来。。。
|
s*********e
发帖数: 1051 | 10 别R了，PYTHON吧。
【在 x**g 的大作中提到】
: en, 这些已经试过了，可是仍然没有帮助。我也在想，对于大的数据的data
: manapulation 和 analysis in R， 大家是怎么做的呢？有没有相关的书或者文献可以
: 参考的？
|
|
|
k*****u
发帖数: 1688 | 11 can python call R function or library? |
s*********e
发帖数: 1051 | 12 yes, with rpy2.robjects. but this method is not as efficient as native R
code. |
k*****u
发帖数: 1688 | 13 O~ I am trying the examples in "Learn Python The Hard Way" from step 0 |
s*********e
发帖数: 1051 | |
D******n
发帖数: 2836 | 15 Windows?
【在 x**g 的大作中提到】
: 遇到一个存储空间的问题，诚心请教版上大牛们。问题是这样的，
: 我在64位的台式机上做一个Bootstraping，用Type=bca算置信区间。机器也是64位的，
: Windows操作系统，4GB RAM。机器上装的R也是64位的，并且修改了设置。
: memory.size(1000000000000)
: 谁知算到一半，得到一个warning message如下：
: Error: cannot allocate memory block of size 2.3 Gb
: 请问，我该怎样做才可以把这个Error消除掉，继续运算得到结果呢？
|
