由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Internet版 - 如何实现批量自动下载网页上的连接?
相关主题
关于下载的问题怎么自动把网页存下来--求答案
FlashGet Re: 求助:如何能把一个网页上所有的连接都down下来?浏览网页做笔记用哪个软件比较好?
有自动生成URL进行下载的软件吗?请教怎样建立个人网页的简单Guestbook or BBS功能?
有没有支持通配符的下载工具?怎样download .wmv 文件?
为啥我下载东西这么慢google site mapping 怎么弄?谢谢! (转载)
求助bt下载断网批量下载mp3音频流文件最好用什么软件?
家里的 AT&T Yahoo DSL 速度从来没有超过 60KB/s,怎么回事?请问怎么下载国内教育网上的资源啊
javascript问题html网页设计求教
相关话题的讨论汇总
话题: 下载话题: 数据话题: 实现话题: 自动话题: 网页
进入Internet版参与讨论
1 (共1页)
n******e
发帖数: 50
1
我的论文工作需要从一个网站上下载大量的气象数据,这些数据都是免费的。可问题是
,我需要下载几年的数据,而网站上只提供每天数据的连接,因此我需要依此把这些连
接打开,然后再逐个把数据copy下来,实在是太浪费时间了。请问有什么好的软件或者
方法,可是实现对这些数据的自动下载?或者,能不能编写一个自动下载的网页程序来
实现这种操作?需要用何种语言?非常感谢!
k******a
发帖数: 23
2
我以前用acrobat下载过那种网站上的电子书,情况和你的差不多。一本书分好多章,
每章又分好多节,用ACROBAT直接粘贴那本书的URL,下载就行了,所有的章节都会下来
。具体方法忘了,你可以自己弄弄看。
a***n
发帖数: 3633
3
看这个网站,如果只是简单的序号,那么多数下载软件比如flashget之类就
都可以胜任。如果连街的文字有一定规律,可以用诸如offline explore之类
的东西下载,然后把数据揪出来。或者可以用perl之类的语言,可以去编程版问问。

【在 n******e 的大作中提到】
: 我的论文工作需要从一个网站上下载大量的气象数据,这些数据都是免费的。可问题是
: ,我需要下载几年的数据,而网站上只提供每天数据的连接,因此我需要依此把这些连
: 接打开,然后再逐个把数据copy下来,实在是太浪费时间了。请问有什么好的软件或者
: 方法,可是实现对这些数据的自动下载?或者,能不能编写一个自动下载的网页程序来
: 实现这种操作?需要用何种语言?非常感谢!

I**********s
发帖数: 441
4
写一个Perl downloader. 我写过, 大约300行.
1 (共1页)
进入Internet版参与讨论
相关主题
html网页设计求教为啥我下载东西这么慢
请问如何把一个网页的内容整个下载下来?求助bt下载断网
网页上的flash如何下载保存?家里的 AT&T Yahoo DSL 速度从来没有超过 60KB/s,怎么回事?
怎样download 网页上的.swf (flash) 文件?javascript问题
关于下载的问题怎么自动把网页存下来--求答案
FlashGet Re: 求助:如何能把一个网页上所有的连接都down下来?浏览网页做笔记用哪个软件比较好?
有自动生成URL进行下载的软件吗?请教怎样建立个人网页的简单Guestbook or BBS功能?
有没有支持通配符的下载工具?怎样download .wmv 文件?
相关话题的讨论汇总
话题: 下载话题: 数据话题: 实现话题: 自动话题: 网页