n******7
发帖数: 12463 | 1 最好是python或者java的
需要经常在几个机器间倒腾数据，需要监视数据的传输状态，确保数据完整，传输成功
。有些数据传输成功之后删除源数据，有些数据传输到目的机器后保留一周删除
又没有现成的工具？ |
w***g
发帖数: 5958 | 2 rsync
【在 n******7 的大作中提到】
: 最好是python或者java的
: 需要经常在几个机器间倒腾数据，需要监视数据的传输状态，确保数据完整，传输成功
: 。有些数据传输成功之后删除源数据，有些数据传输到目的机器后保留一周删除
: 又没有现成的工具？
|
s******u
发帖数: 501 | 3 globus
gridftp
【在 n******7 的大作中提到】
: 最好是python或者java的
: 需要经常在几个机器间倒腾数据，需要监视数据的传输状态，确保数据完整，传输成功
: 。有些数据传输成功之后删除源数据，有些数据传输到目的机器后保留一周删除
: 又没有现成的工具？
|
c*********e
发帖数: 16335 | 4 什么样的数据啊？如果是在数据库里，就容易多了。要不，就是sftp
【在 n******7 的大作中提到】
: 最好是python或者java的
: 需要经常在几个机器间倒腾数据，需要监视数据的传输状态，确保数据完整，传输成功
: 。有些数据传输成功之后删除源数据，有些数据传输到目的机器后保留一周删除
: 又没有现成的工具？
|
p***o
发帖数: 1252 | 5 windows下什么sftp客户端能跑满千兆网？
【在 c*********e 的大作中提到】
: 什么样的数据啊？如果是在数据库里，就容易多了。要不，就是sftp
|
n******7
发帖数: 12463 | 6 我现在用的就是手动rsync，觉得需要改进
手动的麻烦就不了说，关键是觉得不放心
要删除东西的时候总是要检查几遍，怕还没传到备份服务器就惨了
另外传输过程中往往会fail，各种原因
不同类型的东西，要传到不同的地方
等等
我需要的其实是类似rsync wrapper的东西
－－
说到rsync wrapper，搜了一下，还真有一些，哈哈
可以研究一下
【在 w***g 的大作中提到】
: rsync
|
n******7
发帖数: 12463 | 7 谢谢！
看来一下，大概是干这个的一个软件套装
不太想用这样的工具
因为有些overkill了，却可能不够灵活
一般这样的东西，看了半天文档，发现自己只需要用其中一小部分
但是自己又有些需要customize的地方没办法搞
最为备选吧
【在 s******u 的大作中提到】
: globus
: gridftp
|
n******7
发帖数: 12463 | 8 大数据 呵呵
没必要放数据库，也不能放，最后要磁带备份的
传大数据sftp不好用的。。。
一般都是rsync，起码也是scp
【在 c*********e 的大作中提到】
: 什么样的数据啊？如果是在数据库里，就容易多了。要不，就是sftp
|
n******g
发帖数: 2201 | 9 +1 rsync
wdong 说的我信
【在 n******7 的大作中提到】
: 大数据 呵呵
: 没必要放数据库，也不能放，最后要磁带备份的
: 传大数据sftp不好用的。。。
: 一般都是rsync，起码也是scp
|
e*******o
发帖数: 4654 | 10 再rsync确认一下 再删就行了
【在 n******7 的大作中提到】
: 我现在用的就是手动rsync，觉得需要改进
: 手动的麻烦就不了说，关键是觉得不放心
: 要删除东西的时候总是要检查几遍，怕还没传到备份服务器就惨了
: 另外传输过程中往往会fail，各种原因
: 不同类型的东西，要传到不同的地方
: 等等
: 我需要的其实是类似rsync wrapper的东西
: －－
: 说到rsync wrapper，搜了一下，还真有一些，哈哈
: 可以研究一下
|
|
|
n******7
发帖数: 12463 | 11 正好写个wrapper干这个
【在 e*******o 的大作中提到】
: 再rsync确认一下 再删就行了
|
e****t
发帖数: 17914 | 12 Scp
一个command就好了
【在 n******7 的大作中提到】
: 最好是python或者java的
: 需要经常在几个机器间倒腾数据，需要监视数据的传输状态，确保数据完整，传输成功
: 。有些数据传输成功之后删除源数据，有些数据传输到目的机器后保留一周删除
: 又没有现成的工具？
|
n******7
发帖数: 12463 | 13 scp可以中断恢复吗？
因为大量数据传输经常因为各种原因失败
所以这个特性很重要
rsync是可以的
但是我还不确定用rsync是不是就不用再用md5sum check一下了
【在 e****t 的大作中提到】
: Scp
: 一个command就好了
|
M*P
发帖数: 6456 | 14 不用，另外，rsync有一个delete的命令，可以删除不需要的文件
【在 n******7 的大作中提到】
: scp可以中断恢复吗？
: 因为大量数据传输经常因为各种原因失败
: 所以这个特性很重要
: rsync是可以的
: 但是我还不确定用rsync是不是就不用再用md5sum check一下了
|
e*******o
发帖数: 4654 | 15 这个慎用
【在 M*P 的大作中提到】
: 不用，另外，rsync有一个delete的命令，可以删除不需要的文件
|
