h*****d 发帖数: 4 | 1 本人学经济的,写论文需要从网页摘取数据。本科学过C和Data Structure,但是对于
从网上抓数据一窍不通,不知道该如何入门,有什么经典的教材,或者专业的网站么?
一般用什么语言呢? |
g*****o 发帖数: 812 | 2 抓网页的代码网上有啊, 不过对写代码接触不多的话, 不是那么容易上手哎, 因为网页
数据这种东西要处理的, 而且像有些比较高级有js html5的社交网站, 加载状态也很麻烦
【在 h*****d 的大作中提到】 : 本人学经济的,写论文需要从网页摘取数据。本科学过C和Data Structure,但是对于 : 从网上抓数据一窍不通,不知道该如何入门,有什么经典的教材,或者专业的网站么? : 一般用什么语言呢?
|
j*******g 发帖数: 331 | 3 try beautiful soup, you can know how to use in one day while not knowing
python at all
【在 h*****d 的大作中提到】 : 本人学经济的,写论文需要从网页摘取数据。本科学过C和Data Structure,但是对于 : 从网上抓数据一窍不通,不知道该如何入门,有什么经典的教材,或者专业的网站么? : 一般用什么语言呢?
|
M*Q 发帖数: 54 | 4 Python应该是比较方便的,beautifulSoup或者现成的scrapy都可以用。
如果不太熟悉这种脚本语言的话,建议用http://www.kimonolabs.com。
网页上有介绍的视频,随便看一下应该就会用了。基本全部是鼠标操作。
【在 h*****d 的大作中提到】 : 本人学经济的,写论文需要从网页摘取数据。本科学过C和Data Structure,但是对于 : 从网上抓数据一窍不通,不知道该如何入门,有什么经典的教材,或者专业的网站么? : 一般用什么语言呢?
|
w*****a 发帖数: 218 | 5 在 UNIX 或 LINUX 下
用 WGET 或 CURL
GOOGLE 一下, 很容易
【在 h*****d 的大作中提到】 : 本人学经济的,写论文需要从网页摘取数据。本科学过C和Data Structure,但是对于 : 从网上抓数据一窍不通,不知道该如何入门,有什么经典的教材,或者专业的网站么? : 一般用什么语言呢?
|
S******y 发帖数: 1123 | 6 I use BeautifulSoup in Python
-------------------------
欢迎浏览Python/R/Hadoop实战速成课网页-
http://plus.google.com/+statsGuyMITBBS/about |
t******g 发帖数: 2253 | 7 beautiful soup in python, also nltk in python might be useful |
i******m 发帖数: 252 | 8 kimonolabs好像抓不了啊,试了几个网站都不行
【在 M*Q 的大作中提到】 : Python应该是比较方便的,beautifulSoup或者现成的scrapy都可以用。 : 如果不太熟悉这种脚本语言的话,建议用http://www.kimonolabs.com。 : 网页上有介绍的视频,随便看一下应该就会用了。基本全部是鼠标操作。
|