用R抓网页突然就动不了了 - Programming版

本页内容为未名空间相应帖子的节选和存档，一周内的贴子最多显示50字，超过一周显示500字访问原贴

Programming版 - 用R抓网页突然就动不了了

相关主题
● 这个网站是怎么在源码中隐藏url地址的？	● 请教一个python urlopen的问题
● select的timeout怎么不work	● 请问在linux c环境下执行外部命令的问题？
● 问个php的问题	● using gnuplot in c++: timeout, gnuplot is not ready
● VC6.0 补丁？？	● 请教一个用matlab tcpip函数的问题
● About timeout in Socket Programming.	● 谁是做visual studio 2012的? (转载)
● python下的expect	● linux select(): can file descriptors be dynamtic ?
● pollsys 是干嘛的？	● 魏老师在挑战CAP theorum.
● php+apache timeout 的问题	● 我也开溜了

相关话题的讨论汇总
话题: 网页话题: 抓着话题: 就动

(共1页)

p*******t
发帖数: 501

现在在用R抓网页的时候经常会发生抓着抓着就不动了的情况。感觉要么是no response
要么是time out。是不是这个问题呢?如果是的话有没有办法设定一个timeout值，比如
说10秒钟之内抓不下来就去抓下一个网页？

m***i
发帖数: 2480

可能网站有qps throttling.你要降qps.或者从google web cache抓

response

【在 p*******t 的大作中提到】

: 现在在用R抓网页的时候经常会发生抓着抓着就不动了的情况。感觉要么是no response
: 要么是time out。是不是这个问题呢?如果是的话有没有办法设定一个timeout值，比如
: 说10秒钟之内抓不下来就去抓下一个网页？

(共1页)

相关主题
● 我也开溜了	● About timeout in Socket Programming.
● Node, Express 一问	● python下的expect
● 排队法是解决不了问题的	● pollsys 是干嘛的？
● 这个表怎么理解	● php+apache timeout 的问题
● 这个网站是怎么在源码中隐藏url地址的？	● 请教一个python urlopen的问题
● select的timeout怎么不work	● 请问在linux c环境下执行外部命令的问题？
● 问个php的问题	● using gnuplot in c++: timeout, gnuplot is not ready
● VC6.0 补丁？？	● 请教一个用matlab tcpip函数的问题

相关话题的讨论汇总
话题: 网页话题: 抓着话题: 就动

boards