n*********2 发帖数: 357 | 1 有没有方便的Python 库用来自动分析一个复杂的网页?
比如, 有的复杂网页需要比较复杂的Form Post, 不符合该网页的 Post 会被服务器拒
绝。 如果有一个方便的工具能自动分析该网页,然后自动构建合适的Post,那就比较
方便了。
再比如http://www.kuwo.cn/yinyue/1846021/ 怎样才能下载这个网页里的音乐文件?如果有一个方便的工具能自动分析该网页,然后自动构建合适的request,那就比较方便了。
如果 Python 没有这样的库,别的语言(比如Java 或者JavaScript)也是可以的。
谢谢。 |
a9 发帖数: 21638 | 2 用fiddler,charles抓一下包。
或者直接用chrome分析一下也行。
【在 n*********2 的大作中提到】 : 有没有方便的Python 库用来自动分析一个复杂的网页? : 比如, 有的复杂网页需要比较复杂的Form Post, 不符合该网页的 Post 会被服务器拒 : 绝。 如果有一个方便的工具能自动分析该网页,然后自动构建合适的Post,那就比较 : 方便了。 : 再比如http://www.kuwo.cn/yinyue/1846021/ 怎样才能下载这个网页里的音乐文件?如果有一个方便的工具能自动分析该网页,然后自动构建合适的request,那就比较方便了。 : 如果 Python 没有这样的库,别的语言(比如Java 或者JavaScript)也是可以的。 : 谢谢。
|
n*********2 发帖数: 357 | 3 谢谢回复。
这个感觉还是太底层了点,感觉需要很多劳力。而且每个网站都不同,来一个新的网站
,就得从头再来。
有没有一些库将这些步骤自动化(减少人工干预)?
【在 a9 的大作中提到】 : 用fiddler,charles抓一下包。 : 或者直接用chrome分析一下也行。
|
n*****3 发帖数: 1584 | 4 data driven 的东西, 狠难很简单得 自动化
【在 n*********2 的大作中提到】 : 谢谢回复。 : 这个感觉还是太底层了点,感觉需要很多劳力。而且每个网站都不同,来一个新的网站 : ,就得从头再来。 : 有没有一些库将这些步骤自动化(减少人工干预)?
|
L***s 发帖数: 1148 | 5 http://www.crummy.com/software/BeautifulSoup/
特殊的需求要自己定制
方便了。
【在 n*********2 的大作中提到】 : 有没有方便的Python 库用来自动分析一个复杂的网页? : 比如, 有的复杂网页需要比较复杂的Form Post, 不符合该网页的 Post 会被服务器拒 : 绝。 如果有一个方便的工具能自动分析该网页,然后自动构建合适的Post,那就比较 : 方便了。 : 再比如http://www.kuwo.cn/yinyue/1846021/ 怎样才能下载这个网页里的音乐文件?如果有一个方便的工具能自动分析该网页,然后自动构建合适的request,那就比较方便了。 : 如果 Python 没有这样的库,别的语言(比如Java 或者JavaScript)也是可以的。 : 谢谢。
|