由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
JobHunting版 - com上搜索关键字
相关主题
要爬虫一个网页,搜索一次关键词能有100页搜索结果Jobs (UI design/dev, Java Eng, Python, QA) (转载)
怎么根据关键字来搜mitbbs的文章【JOBS】招多个Software Engineer, QA at San Francisco
【JOBS】招多个Software engineer and QA at San Francisco【JOBS】招多个Software Engineer, QA at San Francisco
【JOBS】招多个Software Engineer and QA at San FranciscoFwd: Quality Assurance Manager
【JOBS】招多个Software Engineer and QA at San FranciscoQA need (Zynga)
【JOBS】招多个Software Engineer and QA at San Francisco【JOBS】招多个Software Engineer, QA at San Francisco
【JOBS】招多个Software Engineer and QA at San Franciscojob openning-Test and Quality Engineer,MySQL Database Administrator
【JOBS】招多个Software Engineer, QA at San Franciscojob opening at Salesforce, QA position
相关话题的讨论汇总
话题: 搜索话题: 文章话题: 关键字话题: 列表话题: 登录
进入JobHunting版参与讨论
1 (共1页)
o****g
发帖数: 174
1
http://weixin.sogou.com上搜索关键字,能得到文章列表。但是一般的爬虫只能获得前十个文章,看了一下,主要是获得的html 上只有前十篇文章。但是其实不登录能得到十页文章列表,每页文章列表有十篇文章。更多的文章要登录才能看到。
如在微信搜狗上搜索python
http://weixin.sogou.com/weixin?query=python&_sug_type_=&sut=1707&lkt=7%2C1516917507808%2C1516917509454&s_from=input&_sug_=y&type=2&sst0=1516917509569&page=10&ie=utf8&w=01019900&dr=1
如何得到全部搜索结果的文章html 列表? 有什么技术?在这种需要登录的情况下。
看到这个代码。但是它弄得是公众号主页,我是搜索关键字。
http://blog.csdn.net/qiqiyingse/article/details/70050113
怎么弄?多谢!
c******n
发帖数: 16666
2
你可以一步一步仿造登陆
或者直接用这个大杀器 除非这网站还靠煎查webgl是否开启来防虫。。。
https://duo.com/blog/driving-headless-chrome-with-python

【在 o****g 的大作中提到】
: 在http://weixin.sogou.com上搜索关键字,能得到文章列表。但是一般的爬虫只能获得前十个文章,看了一下,主要是获得的html 上只有前十篇文章。但是其实不登录能得到十页文章列表,每页文章列表有十篇文章。更多的文章要登录才能看到。
: 如在微信搜狗上搜索python
: http://weixin.sogou.com/weixin?query=python&_sug_type_=&sut=1707&lkt=7%2C1516917507808%2C1516917509454&s_from=input&_sug_=y&type=2&sst0=1516917509569&page=10&ie=utf8&w=01019900&dr=1
: 如何得到全部搜索结果的文章html 列表? 有什么技术?在这种需要登录的情况下。
: 看到这个代码。但是它弄得是公众号主页,我是搜索关键字。
: http://blog.csdn.net/qiqiyingse/article/details/70050113
: 怎么弄?多谢!

o****g
发帖数: 174
3
多谢,我也看到一些模拟登录的文章 selenium

【在 c******n 的大作中提到】
: 你可以一步一步仿造登陆
: 或者直接用这个大杀器 除非这网站还靠煎查webgl是否开启来防虫。。。
: https://duo.com/blog/driving-headless-chrome-with-python

z*******0
发帖数: 6
4
Selenium can do it 就是慢点 看你要抓多少东西了
z*********n
发帖数: 1451
5
微信没api能做这个么?如果没给api,说明人家不想让你干这个。。
1 (共1页)
进入JobHunting版参与讨论
相关主题
job opening at Salesforce, QA position【JOBS】招多个Software Engineer and QA at San Francisco
Job openings: IT SDE / Sr. UI Software Engineer【JOBS】招多个Software Engineer and QA at San Francisco
【JOBS】招Software Engineer, QA, DBA at SF/NYC【JOBS】招多个Software Engineer and QA at San Francisco
【JOBS】招Software Engineer, QA, DBA at SF/NYC【JOBS】招多个Software Engineer, QA at San Francisco
要爬虫一个网页,搜索一次关键词能有100页搜索结果Jobs (UI design/dev, Java Eng, Python, QA) (转载)
怎么根据关键字来搜mitbbs的文章【JOBS】招多个Software Engineer, QA at San Francisco
【JOBS】招多个Software engineer and QA at San Francisco【JOBS】招多个Software Engineer, QA at San Francisco
【JOBS】招多个Software Engineer and QA at San FranciscoFwd: Quality Assurance Manager
相关话题的讨论汇总
话题: 搜索话题: 文章话题: 关键字话题: 列表话题: 登录