由买买提看人间百态

topics

全部话题 - 话题: wget
1 2 3 4 5 6 7 8 9 10 下页 末页 (共10页)
o******1
发帖数: 1046
1
【 以下文字转载自 Programming 讨论区 】
发信人: outlook1 (outlook1), 信区: Programming
标 题: 请教个wget获取要密码登录的http页面的问题
发信站: BBS 未名空间站 (Thu Oct 8 19:20:51 2015, 美东)
目的是想获取router的一些即时的信息,但是这个router不支持snmp,现在想到的只有
从http页面用wget(或者curl)搞。当然是有大量的相似的router,所以必须自动化。
但是搞不定这种登录的情形。比如登录页面是http://172.16.0.1/login/,需要获取数据的页面是http://172.16.0.1/diagnostics/。我先用wget从http://172.16.0.1/login/保存一个cookies.txt,同时加了--keep-session-cookies选项。对比了直接从浏览器的cookie,这个获取的cookies.txt内容一模一样。
但是下一步就不行了。我用了--load-cookies,然后再用--post-data把http://172... 阅读全帖
o******1
发帖数: 1046
2
【 以下文字转载自 Programming 讨论区 】
发信人: outlook1 (outlook1), 信区: Programming
标 题: 请教个wget获取要密码登录的http页面的问题
发信站: BBS 未名空间站 (Thu Oct 8 19:20:51 2015, 美东)
目的是想获取router的一些即时的信息,但是这个router不支持snmp,现在想到的只有
从http页面用wget(或者curl)搞。当然是有大量的相似的router,所以必须自动化。
但是搞不定这种登录的情形。比如登录页面是http://172.16.0.1/login/,需要获取数据的页面是http://172.16.0.1/diagnostics/。我先用wget从http://172.16.0.1/login/保存一个cookies.txt,同时加了--keep-session-cookies选项。对比了直接从浏览器的cookie,这个获取的cookies.txt内容一模一样。
但是下一步就不行了。我用了--load-cookies,然后再用--post-data把http://172... 阅读全帖
o******1
发帖数: 1046
3
【 以下文字转载自 Programming 讨论区 】
发信人: outlook1 (outlook1), 信区: Programming
标 题: 请教个wget获取要密码登录的http页面的问题
发信站: BBS 未名空间站 (Thu Oct 8 19:20:51 2015, 美东)
目的是想获取router的一些即时的信息,但是这个router不支持snmp,现在想到的只有
从http页面用wget(或者curl)搞。当然是有大量的相似的router,所以必须自动化。
但是搞不定这种登录的情形。比如登录页面是http://172.16.0.1/login/,需要获取数据的页面是http://172.16.0.1/diagnostics/。我先用wget从http://172.16.0.1/login/保存一个cookies.txt,同时加了--keep-session-cookies选项。对比了直接从浏览器的cookie,这个获取的cookies.txt内容一模一样。
但是下一步就不行了。我用了--load-cookies,然后再用--post-data把http://172... 阅读全帖
o******1
发帖数: 1046
4
【 以下文字转载自 Programming 讨论区 】
发信人: outlook1 (outlook1), 信区: Programming
标 题: 请教个wget获取要密码登录的http页面的问题
发信站: BBS 未名空间站 (Thu Oct 8 19:20:51 2015, 美东)
目的是想获取router的一些即时的信息,但是这个router不支持snmp,现在想到的只有
从http页面用wget(或者curl)搞。当然是有大量的相似的router,所以必须自动化。
但是搞不定这种登录的情形。比如登录页面是http://172.16.0.1/login/,需要获取数据的页面是http://172.16.0.1/diagnostics/。我先用wget从http://172.16.0.1/login/保存一个cookies.txt,同时加了--keep-session-cookies选项。对比了直接从浏览器的cookie,这个获取的cookies.txt内容一模一样。
但是下一步就不行了。我用了--load-cookies,然后再用--post-data把http://172... 阅读全帖
B*********s
发帖数: 292
5
来自主题: Linux版 - 菜鸟 wget 问题求教
The newest version of wget is 1.11.4.
The title of the manual http://www.gnu.org/software/wget/manual/html_node/HTTP-Options.html is "HTTP Options - GNU Wget 1.11.4 Manual"
I ran it with --keep-session-cookies option and it looks good to me. Unless
the page you wgetting is special.
o******1
发帖数: 1046
6
目的是想获取router的一些即时的信息,但是这个router不支持snmp,现在想到的只有
从http页面用wget(或者curl)搞。当然是有大量的相似的router,所以必须自动化。
但是搞不定这种登录的情形。比如登录页面是http://172.16.0.1/login/,需要获取数据的页面是http://172.16.0.1/diagnostics/。我先用wget从http://172.16.0.1/login/保存一个cookies.txt,同时加了--keep-session-cookies选项。对比了直接从浏览器的cookie,这个获取的cookies.txt内容一模一样。
但是下一步就不行了。我用了--load-cookies,然后再用--post-data把http://172.16.0.1/diagnostics/页面form中input的参数pass过去,仔细检查过,没有typo。但是就是获取不到登录后的信息,wget返回的还是未登录前的http文件。
看了一下这个页面的source,好像有一些javascript函数,还有把密码和一段string一
起sha2... 阅读全帖
l***h
发帖数: 139
7
来自主题: Unix版 - strange problem about wget execution
wget is under /usr/bin on my freebsd, and the path is set correctly.
However, I can't execute it by typing "wget", even I am under "/usr/bin".
I can run everything else under /usr/bin though.
For wget, I have to use ./wget to execute it.
Strange. Anybody can explain it ? thanks.
i**********r
发帖数: 36
8
来自主题: Internet版 - wget 一问 -- urgent
i am trying to webpage query a database and download qualified data.
this includes 1) filling in all the parameters, pressing "send query",
and 2) selecting a filename for the data in a window that pops up late.
Now i want to use some scripts to do many queries. and i choosed wget.
for the first step, filling the parameters, I just examined its
"http://....." and changed parameters according to my queries, and gave
the changed "http://..." to wget.
But i don't know how to inform wget about file
x*k
发帖数: 106
9
来自主题: Programming版 - Wget 提交form的问题
【 以下文字转载自 Unix 讨论区 】
发信人: xwk (小悟空), 信区: Unix
标 题: Wget 提交form的问题
发信站: BBS 未名空间站 (Tue Jul 19 20:55:08 2005), 转信
需要下载一个网页,但这之前要选是文本还是图象,如果用鼠标点txt.gif的图片将
以文本方式访问;点img图象将一图象方式访问.不知道如何用wget如何完成这样的
提交步骤.下面是这个表格的代码.
或者说有没有比wget更好的工具来做这个事情? 谢谢了!







s*****e
发帖数: 404
10
来自主题: _voip版 - Help! dockstar装Debian时wget不work
sipsorcery 不work了,还得折腾Asterisk。
以前装Asterisk不成功就将就用sipsorcery了。
第一步装Debian,以前没问题的。
现在第一步就有问题了,
wget http://jeff.doozan.com/debian/dockstar.debian-lenny.sh
wget:bad address ‘jeff.doozan.com'
我ping它的ip没问题,是不是有什么wget的设置?以前没记得在这改什么呀?
x*k
发帖数: 106
11
来自主题: Internet版 - Wget 提交form的问题 (转载)
需要下载一个网页,但这之前要选是文本还是图象,如果用鼠标点txt.gif的图片将
以文本方式访问;点img图象将一图象方式访问.不知道如何用wget如何完成这样的
提交步骤.下面是这个表格的代码.
或者说有没有比wget更好的工具来做这个事情? 谢谢了!







Choose for:
B*********s
发帖数: 292
12
来自主题: Linux版 - 菜鸟 wget 问题求教
RTFM:
wget --cookies=on --keep-session-cookies --save-cookies=cookie.txt http://xxxxxxx
http://www.gnu.org/software/wget/manual/html_node/HTTP-Options.html
l******g
发帖数: 163
13
来自主题: Linux版 - 菜鸟 wget 问题求教
Thank you very much for your help!
I tried this combination, but it does not work. My wget is "GNU Wget 1.9+cvs
-stable (Red Hat modified)" version and does not have the option --keep-
session-cookies. I will update it and try again. I will keep you updated.
Have a nice day!
h*********n
发帖数: 915
14
【 以下文字转载自 Stock 讨论区 】
发信人: heavyburden (nothing), 信区: Stock
标 题: 想用wget从Google Finance下载数据 (转载)
发信站: BBS 未名空间站 (Sun Mar 15 03:10:34 2009)
发信人: heavyburden (nothing), 信区: SanFrancisco
标 题: 想用wget从Google Finance下载数据
发信站: BBS 未名空间站 (Sun Mar 15 03:09:53 2009)
个人的帐号login问题怎么解决啊?好像他们不是用cookie的。
h*********n
发帖数: 915
15
您老给看看?
https://www.google.com/accounts/ServiceLogin?hl=en&service=finance
我的wget命令:
# Log in to the server. This can be done only once.
wget -O login.htm --save-cookies cookies.txt \
--post-data 'user=foo&password=abcdef' \
https://www.google.com/accounts/ServiceLogin?hl=en&service=finance
Z****e
发帖数: 2999
16
来自主题: Linux版 - wget保存页面
wget的选项一大堆,但是我试了半天,也没找到一个能保存整个页面的——不是整个
site
wget -prkl 1 [URL] 可以,但是会下载很多额外的东西,比方说页面一个link到别的
网页
谁弄过呀?
y******g
发帖数: 120
17
来自主题: Linux版 - 我的wget好快啊!!!
wget 没问题。比如我在windows 里的firefox 的flashgot的配置是:
cmd /C start wget -c [--directory-prefix=FOLDER] [--referer=REFERER] [--post
-data=POST] [--load-cookies=CFILE] [--header=Cookie:COOKIE] [--input-file=
UFILE]
a********e
发帖数: 508
18
链接木问题,windows下我都wget试过了
估计是ddwrt 的问题,tomato和revised ddwrt都可以wget

..
h**i
发帖数: 431
19
最近想保存一个系列的帖子内容,用wget只能下载text而不能下载图片
比如 wget http://bbs.tianya.cn/post-free-3221787-1.shtml
非常想保存帖子的原来的text+图片的形式,请大牛不吝赐教!
w*****n
发帖数: 94
20
来自主题: Unix版 - how to compile wget package???
wget has nothing to do with cgi ba?
The compilation instructions for unix programs are often found in an
INSTALL file, the README file also contains important information.
General steps are:
1) gunzip -c wget-xxx.tar.gz | tar xvf -
2) ./configure
3) make
4) make install
N*********r
发帖数: 40
21
The manual I quoted is for GNU wget 1.8.2
I don't know about earlier versions of wget.
k*****y
发帖数: 221
22
来自主题: Unix版 - Wget 能否下载中文URL?
从中文系统Telnet到系里面的Sun服务器,用Wget下载某些含有中文字符的URL,
总是Fail. 试过把URL放到一个文本文件上传后让Wget自己去下载,仍然报错。
相同的URL在Windows系统不存在任何问题。
请高手给予指点,困惑了好久。
需要作些什么设置呢? 文本文件的存储格式需要改吗? unicode还是ansi之类的
x*k
发帖数: 106
23
来自主题: Unix版 - Wget 提交form的问题
需要下载一个网页,但这之前要选是文本还是图象,如果用鼠标点txt.gif的图片将
以文本方式访问;点img图象将一图象方式访问.不知道如何用wget如何完成这样的
提交步骤.下面是这个表格的代码.
或者说有没有比wget更好的工具来做这个事情? 谢谢了!







Choose for:
l*****s
发帖数: 2109
24
来自主题: Unix版 - wget 超长文件名问题
【 以下文字转载自 Linux 讨论区 】
发信人: littles (小不点-中国共产党资深党员-荡荡), 信区: Linux
标 题: wget 超长文件名问题
发信站: BBS 未名空间站 (Mon Aug 15 04:11:08 2005), 站内
http://192.18.97.45/ECom/EComTicketServlet/BEGIN1E2618E38F992E946A13DA7326244632/101582379/ 895654095/1/579758/578246/895654095/2ts+/westCoastFSEND/Sol10-GA-x86-G-F/Sol10-GA-x86-G-F:2/sol-10- GA-x86-v1-iso.zip
想下载 solaris 10,第一个文件名路径如上,但是写到本地硬盘的路径超长,
wget 有没有option指定 本地文件名的?
a*********9
发帖数: 523
25
想请教大牛们在lwp里有没有下载WIKI PAGE的专门函数或者设定?
想要下载的是系统内部WIKI PAGE,需要用户名和密码登陆那种。
用wget --no_check_certificate --user= --password= 可以成功下
载,但CURL和lwp::simple, lwp::useragent 都是返回STATUS 302。lwp::useragent
也只
能下载WIKIPEDIA ORG的页面。
谢谢
v**k
发帖数: 207
26
问个基本问题,在 mac 的linux 上怎么装 apt-get, wget 这些东西. 或者general 的
有些没有这些东西的 linux 系统,没有这些东西,怎么装。有些甚至没有 yum.
多谢!
v**k
发帖数: 207
27
问个基本问题,在 mac 的linux 上怎么装 apt-get, wget 这些东西. 或者general 的
有些没有这些东西的 linux 系统,没有这些东西,怎么装。有些甚至没有 yum.
多谢!
a*******r
发帖数: 7558
28
http://oceanexplorer.noaa.gov/edu/oceanage/04mazel/media/mazel1.html
在safari下view source:
http://www.apple.com/qtactivex/qtplugin.cab" height="136" width="160" name="Dr. Charles H. Mazel Video Profile" align="top">

如何把wget后面的meetcharly_qt160.mov文件的网址补全,下载?
谢了!
n**********l
发帖数: 271
29
Plenty of sites, especially CDNs have checks (usually JavaScript) to prevent
batch operations with wget/curl.
exmaples
bgp.he.net
a********e
发帖数: 508
30
router刷了dd-wrt,用client bridge模式无线联网
用telnet登录到到router上,发现ping外网没问题,但是wget老是失败,能正确解析域名
但就是不下载
哪位能指点一下应该从哪里着手吗?
顺便说一句,如果电脑通过dd-wrt router联网,上网什么的没有任何问题。真是奇怪啊
l******g
发帖数: 163
31
来自主题: Linux版 - 菜鸟 wget 问题求教
想用 wget 下载文章,老是得到如下错误:
Session Cookie Error
An error has occured because we were unable to send a cookie to your web
browser.
Session cookies are commonly used to facilitate improved site navigation. In
order to use Wiley InterScience you must have your browser set to accept
cookies.
Once you have logged in to Wiley InterScience, our Web server uses a
temporary cookie to help us manage your visit. This Session Cookie is
deleted when you logoff Wiley InterScience, or when you quit your browser.
T
l******g
发帖数: 163
32
来自主题: Linux版 - 菜鸟 wget 问题求教
Yes. I installed 1.11.4.
I can use the option "--keep-session-cookies" now. But when I run the wget
with all the options you suggested, I still get the error message showing in
my first post -- unable to send a cookie to your web
browser.
Thanks!
p*****s
发帖数: 344
33
来自主题: Linux版 - wget保存页面
nytimes 可不是一般的复杂,上来就load一堆javascript。
wget 之类是比较原始的不会区分图片、不图片。如果用浏览器都不行只有自己写程序
了。
Z****e
发帖数: 2999
34
来自主题: Linux版 - wget保存页面
wget其实还是不错的啊,我用之前提到的做法,download下来的页面至少layout是正确
的,只不过有很多extra fat
p*****s
发帖数: 344
35
来自主题: Linux版 - wget保存页面
try
wget -E -H -k -K -p http://I/I
here -k will convert the image for local viewing.
Z****e
发帖数: 2999
36
来自主题: Linux版 - 我的wget好快啊!!!
wget must have adopted Microsoft's algorithm for calculating progress...
s******a
发帖数: 517
37
来自主题: Linux版 - 我的wget好快啊!!!
自从接触linux以来,wget是我最喜欢用的下载工具
wy
发帖数: 14511
38
来自主题: Linux版 - 我的wget好快啊!!!
I don't understand why some ppl prefer curl to wget. anyone knows?
c**t
发帖数: 2744
39
来自主题: Linux版 - 我的wget好快啊!!!
The argument of "curl vs wget" just like "vi vs emacs"...
a********e
发帖数: 508
40
router刷了dd-wrt,用client bridge模式无线联网或者wan口直接cable联网都有以下
问题
用telnet登录到到router上,发现ping外网没问题,但是wget老是失败,能正确解析域名
但就是不下载
哪位能指点一下应该从哪里着手吗?
顺便说一句,如果电脑通过dd-wrt router联网,上网什么的没有任何问题。真是奇怪啊
a********e
发帖数: 508
41
谢谢!
电脑上做这些都没问题,使用网络完全正常
router上没装浏览器,wget下载ftp也不行
p******s
发帖数: 738
42
你是说路由上面用wget么...文件系统收拾好了么?jffs或者是mnt...
p******s
发帖数: 738
43
你是说没有星号或者是井号的进度显示么...那个wget好像确实不显示...
t*******t
发帖数: 105
44
来自主题: Linux版 - wget不能下载ftp上的文件
但是点开firefox以后可以下。。。请问是怎么回事?
wget说这个文件不存在。
但是过了一下有可以下载了。
l*******G
发帖数: 1191
45
来自主题: Linux版 - wget不能下载ftp上的文件
Make sure the url is in single quotes ' '
e.g.
wget 'ftp://abc.com/d.txt'
v*****r
发帖数: 1119
46
来自主题: Linux版 - 怎么wget一个网站?
I use this:
wget --wait=20 --limit-rate=20K -r -p -U Mozilla http://www.xxx.xxx
v*****r
发帖数: 1119
47
来自主题: Linux版 - LFS 6.7 的wget script 怎么没了
LFS 6.7 好像没提供 wget download script, 难道要大家手动download每个package?
e*****t
发帖数: 1005
48
如果是用了ajax的,没啥好办法用wget,换专门的软件吧。
A*****o
发帖数: 222
49
一定要用wget吗?可能要算算javascript怎么做的。
否则可以用phantomJS。
o******1
发帖数: 1046
50
因为是从gateway(linux box)上执行这个操作,存储资源有限,系统都是embedded
linux版本。所以从wget试起,实在不行才会考虑curl。
1 2 3 4 5 6 7 8 9 10 下页 末页 (共10页)