g***j 发帖数: 1275 | 1 【 以下文字转载自 Programming 讨论区 】
发信人: gmadj (干嘛爱打架), 信区: Programming
标 题: HTTP Error 403
发信站: BBS 未名空间站 (Sun Jan 25 17:08:37 2015, 美东)
写个很简单的python code 访问mitbbs,结果用urllib2,得到了HTTP Error 403,但
是访问别的网站就没有类似情况,请问这是为什么呢?谢谢了!
url = "http://www.mitbbs.com/"
response = urllib2.urlopen(url)
html = response.read() |
m********s 发帖数: 55301 | 2 403是神马意思?
【在 g***j 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 【 以下文字转载自 Programming 讨论区 】 : 发信人: gmadj (干嘛爱打架), 信区: Programming : 标 题: HTTP Error 403 : 发信站: BBS 未名空间站 (Sun Jan 25 17:08:37 2015, 美东) : 写个很简单的python code 访问mitbbs,结果用urllib2,得到了HTTP Error 403,但 : 是访问别的网站就没有类似情况,请问这是为什么呢?谢谢了! : url = "http://www.mitbbs.com/" : response = urllib2.urlopen(url) : html = response.read()
|
z****3 发帖数: 782 | 3 Forbidden
Maybe has something to do with User Agent string? |
t********5 发帖数: 522 | 4 I was able to fetch the page with request in Node.js |
t********5 发帖数: 522 | 5 For python, you may want do the following:
req = urllib2.Request(url, headers={'User-Agent' : "mitbbsBrowser"})
con = urllib2.urlopen(req) |
Z**0 发帖数: 1119 | 6 没有设定User Agent Header。
建议用requests。requests比url2lib要更优点。 |
g***j 发帖数: 1275 | 7 谢谢,requests确实可以,但是,response里面的中文是乱码,请问如何可以转换呢?
【在 Z**0 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 没有设定User Agent Header。 : 建议用requests。requests比url2lib要更优点。
|
T*********g 发帖数: 496 | 8 你看看你读取时的 encoding是什么。买买提应该用 utf8吧?
【在 g***j 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 谢谢,requests确实可以,但是,response里面的中文是乱码,请问如何可以转换呢?
|