o****g
发帖数: 174 | 1 网页爬虫的时候，用requests, get 爬url 时，能有什么参数设定time frame 吗？
例如爬微信搜狗，微信文章好的一点是有timestamp, 能知道文章是哪一天发的,这个
timestamp 放在网页的html里。
现在用requests.get 爬weixin.sogou.com ,能否设定一个参数，只爬某天发的对应某
个搜索关键字的文章。但是不可以crawl 所有html, 现在的结果只能有前100篇文章的
html.
代码：
pages = requests.get(sogou_search_url, headers = headers1, proxies=urllib.
request.getproxies()) |
|
