m**********w
发帖数: 4161 | 1 http://qipu.games.sports.cn/list.html
我想从上面这个网址下载所有聂卫平和马晓春的对局，sgf格式，有什么办法吗？一个
个手动下，效率很低。 |
g*****g
发帖数: 34805 | 2 这个不难，比如文件名是这样
http://china.games.sports.cn/gibo/files/1231834918906.sgf
你去看看头尾的ID好，然后用flashget之类的自动产生一堆下了就
可以。
【在 m**********w 的大作中提到】
: http://qipu.games.sports.cn/list.html
: 我想从上面这个网址下载所有聂卫平和马晓春的对局，sgf格式，有什么办法吗？一个
: 个手动下，效率很低。
|
m**********w
发帖数: 4161 | 3 有没有工具能自动抓取的？比如我就输入聂卫平和马晓春，它帮我填表，然后把查询到
的所有棋谱文件名给我？
然后我可以把文件名列表放到一个文本文件里，自己运行wget就可以下载了。
【在 g*****g 的大作中提到】
: 这个不难，比如文件名是这样
: http://china.games.sports.cn/gibo/files/1231834918906.sgf
: 你去看看头尾的ID好，然后用flashget之类的自动产生一堆下了就
: 可以。
|
g*****g
发帖数: 34805 | 4 这个得写个程序了，不过按说我说的产生一个序列的文件名，
就算有一些空的也没影响。
【在 m**********w 的大作中提到】
: 有没有工具能自动抓取的？比如我就输入聂卫平和马晓春，它帮我填表，然后把查询到
: 的所有棋谱文件名给我？
: 然后我可以把文件名列表放到一个文本文件里，自己运行wget就可以下载了。
|
b********n
发帖数: 5997 | |
m**********w
发帖数: 4161 | 6 穷举法暴力下载啊？估计得被封ip，呵呵。
【在 g*****g 的大作中提到】
: 这个得写个程序了，不过按说我说的产生一个序列的文件名，
: 就算有一些空的也没影响。
|
m**********w
发帖数: 4161 | 7 都不太懂，是不是很简单的script就够了？
【在 b********n 的大作中提到】
: php crawler or wql.
|
g*****g
发帖数: 34805 | 8 估计都是连续的ID，因为都是从DB来的，你查一下看看开头和结尾估计
就差不多了。我用htmlunit写一个下不难，就是懒得动。
【在 m**********w 的大作中提到】
: 穷举法暴力下载啊？估计得被封ip，呵呵。
|
m******r
发帖数: 4351 | 9 如果你用firefox的话,有一个叫做DownThemAll!的插件
可以把一页中你感兴趣的都抓下来,很灵活方便,比如可以设置过滤器
比如某个帖子贴了几十个图片，你设置jpg过滤器，就可以一次性地迅猛地全部下载了 |
