m**********w 发帖数: 4161 | 1 http://qipu.games.sports.cn/list.html
我想从上面这个网址下载所有聂卫平和马晓春的对局,sgf格式,有什么办法吗?一个
个手动下,效率很低。 |
g*****g 发帖数: 34805 | 2 这个不难,比如文件名是这样
http://china.games.sports.cn/gibo/files/1231834918906.sgf
你去看看头尾的ID好,然后用flashget之类的自动产生一堆下了就
可以。
【在 m**********w 的大作中提到】![](/moin_static193/solenoid/img/up.png) : http://qipu.games.sports.cn/list.html : 我想从上面这个网址下载所有聂卫平和马晓春的对局,sgf格式,有什么办法吗?一个 : 个手动下,效率很低。
|
m**********w 发帖数: 4161 | 3 有没有工具能自动抓取的?比如我就输入聂卫平和马晓春,它帮我填表,然后把查询到
的所有棋谱文件名给我?
然后我可以把文件名列表放到一个文本文件里,自己运行wget就可以下载了。
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 这个不难,比如文件名是这样 : http://china.games.sports.cn/gibo/files/1231834918906.sgf : 你去看看头尾的ID好,然后用flashget之类的自动产生一堆下了就 : 可以。
|
g*****g 发帖数: 34805 | 4 这个得写个程序了,不过按说我说的产生一个序列的文件名,
就算有一些空的也没影响。
【在 m**********w 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 有没有工具能自动抓取的?比如我就输入聂卫平和马晓春,它帮我填表,然后把查询到 : 的所有棋谱文件名给我? : 然后我可以把文件名列表放到一个文本文件里,自己运行wget就可以下载了。
|
b********n 发帖数: 5997 | |
m**********w 发帖数: 4161 | 6 穷举法暴力下载啊?估计得被封ip,呵呵。
【在 g*****g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 这个得写个程序了,不过按说我说的产生一个序列的文件名, : 就算有一些空的也没影响。
|
m**********w 发帖数: 4161 | 7 都不太懂,是不是很简单的script就够了?
【在 b********n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : php crawler or wql.
|
g*****g 发帖数: 34805 | 8 估计都是连续的ID,因为都是从DB来的,你查一下看看开头和结尾估计
就差不多了。我用htmlunit写一个下不难,就是懒得动。
【在 m**********w 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 穷举法暴力下载啊?估计得被封ip,呵呵。
|
m******r 发帖数: 4351 | 9 如果你用firefox的话,有一个叫做DownThemAll!的插件
可以把一页中你感兴趣的都抓下来,很灵活方便,比如可以设置过滤器
比如某个帖子贴了几十个图片,你设置jpg过滤器,就可以一次性地迅猛地全部下载了 |