S********a
发帖数: 359 | 1 我有个dataset, 11,570,573个obs, 只有2个变量（pm 和 allndays)，想做GAM plot,
下面是R CODE 和 error msg:
> nua4pmv=gam(pm~s(allndays,bs="cr"),data=mydata)
Warning messages:
1: In qr.qy(qrc, t(sml[[i]]$X)) :
Reached total allocation of 8054Mb: see help(memory.size)
2: In qr.qy(qrc, t(sml[[i]]$X)) :
Reached total allocation of 8054Mb: see help(memory.size)
3: In qr.qy(qrc, t(sml[[i]]$X)) :
Reached total allocation of 8054Mb: see help(memory.size)
4: In qr.qy(qrc, t(sml[[i]]$X)) :
Reached total allocation of 8054Mb: see help(memory.size)
Error in t(qr.qy(qrc, t(sml[[i]]$X))[(j + 1):k, ]) :
error in evaluating the argument 'x' in selecting a method for function 't'
难道是数据太多了，超出了R处理的能力，如果有limit的话，有方法能加大这个limit
吗？拜谢！！ |
s*********e
发帖数: 1051 | 2 GAM model with 11M points in R is looking for trouble. |
d*******o
发帖数: 493 | 3 Try
memory.limit(size=WHAT YOU HAVE)
or
mem.limits(nsize = NA, vsize = NA) |
S********a
发帖数: 359 | 4 我用SAS做，也出了同样的问题。
ERROR: The SAS System stopped processing this step because of insufficient
memory
我想加大memory size，我在editor里输入下面，出了warning msg：
options memsize=max;
-------
30
WARNING 30-12: SAS option MEMSIZE is valid only at startup of the SAS System
. The SAS option is ignored.
怎么找应用这个options memsize=max 呢？谢谢
【在 s*********e 的大作中提到】
: GAM model with 11M points in R is looking for trouble.
|
S********a
发帖数: 359 | 5 我试了第二个，还是不成。
【在 d*******o 的大作中提到】
: Try
: memory.limit(size=WHAT YOU HAVE)
: or
: mem.limits(nsize = NA, vsize = NA)
|
s*********e
发帖数: 1051 | 6 what os are you using, 32-bit or 64-bit?
if 64-bit, are you using compatible SAS/R? what's the size of physical
memory?
System
【在 S********a 的大作中提到】
: 我用SAS做，也出了同样的问题。
: ERROR: The SAS System stopped processing this step because of insufficient
: memory
: 我想加大memory size，我在editor里输入下面，出了warning msg：
: options memsize=max;
: -------
: 30
: WARNING 30-12: SAS option MEMSIZE is valid only at startup of the SAS System
: . The SAS option is ignored.
: 怎么找应用这个options memsize=max 呢？谢谢
|
S********a
发帖数: 359 | 7 是32－bit, 现在memory size还剩下8GB可以用
【在 s*********e 的大作中提到】
: what os are you using, 32-bit or 64-bit?
: if 64-bit, are you using compatible SAS/R? what's the size of physical
: memory?
:
: System
|
n******0
发帖数: 61 | 8 同问。
个人认为基本无解，是内存问题。只好分块做， 或用其他语言自己写 |
D******n
发帖数: 2836 | 9 Unix or Windows?
if unix
sas your_sas_code.sas -memesize max
btw, when memory is out, sample it down.
【在 S********a 的大作中提到】
: 是32－bit, 现在memory size还剩下8GB可以用
|
S********a
发帖数: 359 | 10 windows xp, 已经size down to necessary 了
【在 D******n 的大作中提到】
: Unix or Windows?
: if unix
: sas your_sas_code.sas -memesize max
: btw, when memory is out, sample it down.
|
|
|
d*******o
发帖数: 493 | 11 I am curious why you use windows xp 32bit with 9GB memory.
By the way, mem.limits(nsize = NA, vsize = NA) is for non-PC platforms. |
a********s
发帖数: 188 | 12 How about sub-sampling? |
S********a
发帖数: 359 | 13 我是第一次处理这么大的dataset，在自己的PC上做的，是不是应该在BATCH上试试，能
推荐个link或书，关于怎么用BATCH吗？谢谢
【在 d*******o 的大作中提到】
: I am curious why you use windows xp 32bit with 9GB memory.
: By the way, mem.limits(nsize = NA, vsize = NA) is for non-PC platforms.
|
S********a
发帖数: 359 | 14 已经是最小了
【在 a********s 的大作中提到】
: How about sub-sampling?
|
c*****l
发帖数: 135 | 15 windows 32-b can handle a max of 4G mem. Having extra won't help. Try using
R on unix or linux.
BTW, gam=generalized additive model? |
S********a
发帖数: 359 | 16 是generalized additive model. 谢谢回帖。
congratulations on your new baby!
using
【在 c*****l 的大作中提到】
: windows 32-b can handle a max of 4G mem. Having extra won't help. Try using
: R on unix or linux.
: BTW, gam=generalized additive model?
|
C******n
发帖数: 284 | 17 我遇到过类似的大size和memory问题
一个可能的，但是我未尝试的方法是，在一台64-bit CPU，装有64-bit operating
system，以及8G或以上memory的机器或者cluster上，安装64-bit的R
如果你用来fit model或plot的package不是64-bit的，有可能会有问题，但我不确定
我遇到的问题是fit 一个 4-level random-effects GLM with about 40,000
observations，在R，SAS，Stata中会出现 memory limit的问题，后来用WinBUGS搞定了
所以如果你在fit model过程中出问题的话，可以试一下Bayesian |
