y**b 发帖数: 10166 | 1 大量文件,一次几个T吧,目录也多,有的文件较大,比如几百G。
我试了一下cp或rsync拷贝到usb 3.0外置硬盘(ntfs格式),
一开始很快,100MB/s,
可是后面就越来越慢,
甚至到了慢的惊人的地步,200kB/s。
把外置硬盘格成ext等格式有帮助吗。
见有人用tar的办法,会更快?
cd /source; tar cf - * | ( cd /target && tar xfp -) |
r******i 发帖数: 610 | 2 ntfs3g的性能确实不高,大概也就是能用的水平。不过降速太大可能跟你拷的文件有关
,拷大量小文件(几百k)的时候速度就是慢,什么文件系统都差不多。
【在 y**b 的大作中提到】 : 大量文件,一次几个T吧,目录也多,有的文件较大,比如几百G。 : 我试了一下cp或rsync拷贝到usb 3.0外置硬盘(ntfs格式), : 一开始很快,100MB/s, : 可是后面就越来越慢, : 甚至到了慢的惊人的地步,200kB/s。 : 把外置硬盘格成ext等格式有帮助吗。 : 见有人用tar的办法,会更快? : cd /source; tar cf - * | ( cd /target && tar xfp -)
|
w****w 发帖数: 521 | 3 我有类似的情况。小文件多一定要先tar起来压缩。
具体做法是同时跑4,5个tar,tar完后产生一个md5文件。另一个script专门找md5,找
到后就copy md5和相应的tgz文件到硬盘。对方拿到硬盘md5都过了就没我事了。
【在 y**b 的大作中提到】 : 大量文件,一次几个T吧,目录也多,有的文件较大,比如几百G。 : 我试了一下cp或rsync拷贝到usb 3.0外置硬盘(ntfs格式), : 一开始很快,100MB/s, : 可是后面就越来越慢, : 甚至到了慢的惊人的地步,200kB/s。 : 把外置硬盘格成ext等格式有帮助吗。 : 见有人用tar的办法,会更快? : cd /source; tar cf - * | ( cd /target && tar xfp -)
|
y**b 发帖数: 10166 | 4 是应该tar打包一下,
有人说cd /source; tar cf - * | ( cd /target && tar xfp -)
可以只用1/4时间,
当然这看具体问题,
刚拷完一个750GB的目录,
平均速度18.3MB/s,
这算是不错了。 |
l*******g 发帖数: 27064 | 5 直接tar到移动硬盘是不是更好
【在 w****w 的大作中提到】 : 我有类似的情况。小文件多一定要先tar起来压缩。 : 具体做法是同时跑4,5个tar,tar完后产生一个md5文件。另一个script专门找md5,找 : 到后就copy md5和相应的tgz文件到硬盘。对方拿到硬盘md5都过了就没我事了。
|
f*****i 发帖数: 143 | 6 你的问题,其实是机械式硬盘的通病。大文件可以连续扇区高吞吐量访问,
从而达到100mb/s的传输速度;海量小文件必须频繁移动磁头,
每个文件打开和新文件关闭的开销大于读取/转移/存储数据,所以速度低。
最好方案:
第一,找个大容量ssd硬盘把机械硬盘的内容整体复制源数据。这个速度可以
高达400MB/S, 当然要用sataIII (6gbps),也受限于源盘读速度.复制完成了就
用ssd取代原来的硬盘,以后读取小文件数据的速度会提高10倍不止。
第二,外置硬盘最好不用ntfs格式。ext4最快,但是windows不支持,还是
fat32好些。连接接口最好是e-sata,如果是usb3那么要用支持UARP的,同时
ssd也很关键。如果外置硬盘不需要看单个文件,那么用机械式硬盘usb3也
可以,用一个大个的tar 就可以备份,速度不会低到200kB/s这样夸张。
【在 y**b 的大作中提到】 : 大量文件,一次几个T吧,目录也多,有的文件较大,比如几百G。 : 我试了一下cp或rsync拷贝到usb 3.0外置硬盘(ntfs格式), : 一开始很快,100MB/s, : 可是后面就越来越慢, : 甚至到了慢的惊人的地步,200kB/s。 : 把外置硬盘格成ext等格式有帮助吗。 : 见有人用tar的办法,会更快? : cd /source; tar cf - * | ( cd /target && tar xfp -)
|
y**b 发帖数: 10166 | 7 ssd还是容量小,也贵,再说大量4tb硬盘组成的raid,搞成ssd太麻烦。
还好平时对硬盘没太高要求,也就烤盘时难以忍受。 |
y**b 发帖数: 10166 | 8 测试了tar的办法,一分钟也就快10秒,对我的文件特点。 |
a9 发帖数: 21638 | 9 用tar读的时候也得一个个小文件读,不见的快多少
【在 f*****i 的大作中提到】 : 你的问题,其实是机械式硬盘的通病。大文件可以连续扇区高吞吐量访问, : 从而达到100mb/s的传输速度;海量小文件必须频繁移动磁头, : 每个文件打开和新文件关闭的开销大于读取/转移/存储数据,所以速度低。 : 最好方案: : 第一,找个大容量ssd硬盘把机械硬盘的内容整体复制源数据。这个速度可以 : 高达400MB/S, 当然要用sataIII (6gbps),也受限于源盘读速度.复制完成了就 : 用ssd取代原来的硬盘,以后读取小文件数据的速度会提高10倍不止。 : 第二,外置硬盘最好不用ntfs格式。ext4最快,但是windows不支持,还是 : fat32好些。连接接口最好是e-sata,如果是usb3那么要用支持UARP的,同时 : ssd也很关键。如果外置硬盘不需要看单个文件,那么用机械式硬盘usb3也
|
f*********e 发帖数: 8453 | 10 直接dd吧。不过结果肯定是做成镜像盘了。
【在 y**b 的大作中提到】 : 大量文件,一次几个T吧,目录也多,有的文件较大,比如几百G。 : 我试了一下cp或rsync拷贝到usb 3.0外置硬盘(ntfs格式), : 一开始很快,100MB/s, : 可是后面就越来越慢, : 甚至到了慢的惊人的地步,200kB/s。 : 把外置硬盘格成ext等格式有帮助吗。 : 见有人用tar的办法,会更快? : cd /source; tar cf - * | ( cd /target && tar xfp -)
|
|
|
j*a 发帖数: 14423 | 11 先测测这usb硬盘的io性能呗
【在 y**b 的大作中提到】 : 大量文件,一次几个T吧,目录也多,有的文件较大,比如几百G。 : 我试了一下cp或rsync拷贝到usb 3.0外置硬盘(ntfs格式), : 一开始很快,100MB/s, : 可是后面就越来越慢, : 甚至到了慢的惊人的地步,200kB/s。 : 把外置硬盘格成ext等格式有帮助吗。 : 见有人用tar的办法,会更快? : cd /source; tar cf - * | ( cd /target && tar xfp -)
|
a9 发帖数: 21638 | 12 这是个好办法。
【在 f*********e 的大作中提到】 : 直接dd吧。不过结果肯定是做成镜像盘了。
|
w****w 发帖数: 521 | 13 所以要同时跑好多个tar,最好在不同的机器上跑。copy script只要跑一个就行了。
【在 a9 的大作中提到】 : 用tar读的时候也得一个个小文件读,不见的快多少
|
w****w 发帖数: 521 | 14 我22TB数据,用7zip在4台server上跑,3个礼拜压到2.5TB。用gzip一个多礼拜只能压
到6TB。 |
y**b 发帖数: 10166 | 15 恐怖啊。
这种情况为啥不用blu-ray呢,很便宜。我买了还没来得及折腾。 |