w***g
发帖数: 5958 | 1 CPU G3930 $40
主板 refurb MSI B250M $60
内存 8G DDR4 $76
电源 EVGA打折电源 $10 AR
16G USB $9
电源IDE/SATA转换头 $7
SATA线,螺丝 $15
机箱地下室回收 0
----------------------------------
除硬盘外总计 $217
买错部件浪费 $69 (64G M.2, 几根线)
硬盘 6x6TB 快$1000
全都下来税前$1250的样子, 提供22TB存储.
装ubuntu 16.04 server, mdadm软raid6, 跑nfs
目前正在nfs+rsync倒数据, 35MB/s的样子, CPU在25%的样子, 基本都是nfsd.
昨天raid重建的时候硬盘全速读, CPU在100%的样子. 两个core用满CPU有200%
所以G3930做raid确实毫无压力.
千兆网下最多100MB/s的样子, 接下来研究的就是怎么再多插几块网卡进去
做link aggregation. 目前这个storage需要服务5个用户, 加起来100MB/s
可能不够.
教训:
1. 主板支持6xSATA和一个M.2. 但是M.2和sata1冲突不能同时用. 导致买的M.2
盘浪费了.最后OS装在一个16G USB2上. 买了个64G的USB3, 不过估计没必要上了.
2. 好死不死买了个DDR4的主板, 导致无法回收利用DDR3内存, 多花了钱买内存.
3. EVGA打折电源只有4个SATA口, 这个也没看仔细, 导致额外花钱买转接线.
花在转接线上的钱是最不值的.
其实就一条, specification要看仔细.
其实我是想过买synology的. 不过synology太奸商. 6-bay以上价钱剧涨.
6T盘做raid-5其实是不够安全的, 因为很有可能在reconstruction的时候
再坏一块盘.
Update.
- 爲啥不用freenas。其實有錢的話，ZFS当然是最好的了。但是ZFS需要ECC， 如果不
用ECC的话比非ZFS还差。还需要1GB/1TB。我这个系统主要是存档，真正读写并不是那
么多，活跃的数据也少，一定时期内的活跃数据也就几百个G。 |
j********2
发帖数: 4438 | |
i****a
发帖数: 36252 | |
w***g
发帖数: 5958 | 4 我是做deep learning。存毛片不值得花这么多钱， 还不如交会费划算。
楼上说freenas，其实还是没钱。freenas对内存要求太高, 32G ECC
外加支持的主板，得再追加进去快$500。要么就只能买二手服务器部件，
然后忍受耗电和噪音。
【在 i****a 的大作中提到】
: 哪來那么多毛片要存？
|
r**********y
发帖数: 2774 | 5 这个没GPU，咋DL?
【在 w***g 的大作中提到】
: 我是做deep learning。存毛片不值得花这么多钱， 还不如交会费划算。
: 楼上说freenas，其实还是没钱。freenas对内存要求太高, 32G ECC
: 外加支持的主板，得再追加进去快$500。要么就只能买二手服务器部件，
: 然后忍受耗电和噪音。
|
m**u
发帖数: 541 | 6 ZFS确实有很多非常好的特性，特别是低成本的snapshot是到目前别的体系还比不了的
。
但ZFS也没有有些人吹的那么好，该挂还是挂，而且死得也是翘翘的；port出来的版本
问题还是很多，原来的估计邪恶代言人公司也没兴趣继续搞；弄个btrfs也是问题比较
多。
另外一旦dedup 1G/1TB远远不够，基本上我测出来的是要差不多5~6GB/TB才不觉得有大
的影响。现在128G ECC内存估计天价了。。。。 |
w***g
发帖数: 5958 | 7 这个NAS后挂一群GPU节点。最近DL的数据越来越大了。kaggle最近那个比赛数据下下来
3T多。
【在 r**********y 的大作中提到】
: 这个没GPU，咋DL?
|
R********n
发帖数: 417 | 8 只做NAS的话，可以考虑ECC DDR3之类老古董平台
便宜量又足，ZFS毫无压力
【在 w***g 的大作中提到】
: CPU G3930 $40
: 主板 refurb MSI B250M $60
: 内存 8G DDR4 $76
: 电源 EVGA打折电源 $10 AR
: 16G USB $9
: 电源IDE/SATA转换头 $7
: SATA线,螺丝 $15
: 机箱地下室回收 0
: ----------------------------------
: 除硬盘外总计 $217
|
a*o
发帖数: 19981 | 9 ZFS那叫一个烂，一堆bug，性能渣到爆。
【在 m**u 的大作中提到】
: ZFS确实有很多非常好的特性，特别是低成本的snapshot是到目前别的体系还比不了的
: 。
: 但ZFS也没有有些人吹的那么好，该挂还是挂，而且死得也是翘翘的；port出来的版本
: 问题还是很多，原来的估计邪恶代言人公司也没兴趣继续搞；弄个btrfs也是问题比较
: 多。
: 另外一旦dedup 1G/1TB远远不够，基本上我测出来的是要差不多5~6GB/TB才不觉得有大
: 的影响。现在128G ECC内存估计天价了。。。。
|
d*******r
发帖数: 3299 | 10 DL project的话, 你是先把数据从NAS经LAN倒腾到计算用机器(有GPU那些)的内存,
再做计算么? 反复走 LAN access 大量数据会不会成为系统瓶颈?
我是用synology的, 因为很久以前设置Linux LAN wake up没成功,
你Ubuntu LAN wake up 靠谱么, 就是平时sleep, 然后有access, 自动唤醒.
【在 w***g 的大作中提到】
: 这个NAS后挂一群GPU节点。最近DL的数据越来越大了。kaggle最近那个比赛数据下下来
: 3T多。
|
|
|
a*o
发帖数: 19981 | 11 哎哟DL需要大硬盘？从来不知道啊，哥又得搭新机器了么？最近有点想学习一下DL。
【在 w***g 的大作中提到】
: 我是做deep learning。存毛片不值得花这么多钱， 还不如交会费划算。
: 楼上说freenas，其实还是没钱。freenas对内存要求太高, 32G ECC
: 外加支持的主板，得再追加进去快$500。要么就只能买二手服务器部件，
: 然后忍受耗电和噪音。
|
w***g
发帖数: 5958 | 12 原始数据存在NAS上, 训练前rsync到本地SSD.
最后收工了把工作目录再archive到NAS上.
训练数据必须倒腾到本地内存或者SSD上. NAS的吞吐量显然不够用的.
我常用的是本地2x500G SSD做raid0.
我的一堆机器基本上就是24x7在线的. 电费省不了. 最多冬天省点暖气费.
LAN wake up没成功可能是switch的原因. 我以前用过一个啥green switch
就不支持LAN wake up.
【在 d*******r 的大作中提到】
: DL project的话, 你是先把数据从NAS经LAN倒腾到计算用机器(有GPU那些)的内存,
: 再做计算么? 反复走 LAN access 大量数据会不会成为系统瓶颈?
: 我是用synology的, 因为很久以前设置Linux LAN wake up没成功,
: 你Ubuntu LAN wake up 靠谱么, 就是平时sleep, 然后有access, 自动唤醒.
|
w***g
发帖数: 5958 | 13 ZFS性能确实是差的, 基本上就是被ext3秒杀的份.
ZFS vs ext3基本上就和oracle vs mysql一样.
糙快猛的时候被秒杀, 必须大规模上档次的应用才能体现出优势.
【在 a*o 的大作中提到】
: ZFS那叫一个烂，一堆bug，性能渣到爆。
|
t*********u
发帖数: 26311 | 14 nas + plex 需要多少内存？
想虚拟机上黑群暉 底层用windows server还是 linux？
【在 a*o 的大作中提到】
: 哎哟DL需要大硬盘？从来不知道啊，哥又得搭新机器了么？最近有点想学习一下DL。
|
w***g
发帖数: 5958 | 15 plex比较耗CPU.
【在 t*********u 的大作中提到】
: nas + plex 需要多少内存？
: 想虚拟机上黑群暉 底层用windows server还是 linux？
|
t*********u
发帖数: 26311 | 16 G4560够不够？
【在 w***g 的大作中提到】
: plex比较耗CPU.
|
w***g
发帖数: 5958 | 17 我估计不是很够. 我2600k streaming时有时候有卡顿. 也可能是我buffer没设好.
【在 t*********u 的大作中提到】
: G4560够不够？
|
t*********u
发帖数: 26311 | 18 1080?
【在 w***g 的大作中提到】
: 我估计不是很够. 我2600k streaming时有时候有卡顿. 也可能是我buffer没设好.
|
w***g
发帖数: 5958 | 19 应该是吧, 我没仔细看. plex还是很方便的.
【在 t*********u 的大作中提到】
: 1080?
|
t*********u
发帖数: 26311 | 20 不应该啊
网上说G4560 1080没问题啊 4k玄
找到了
3代4代都行，2代hd3000和hd200，不支持硬解
【在 w***g 的大作中提到】
: 应该是吧, 我没仔细看. plex还是很方便的.
|
|
|
d*******r
发帖数: 3299 | 21 那跟我想的差不多, 反复access NAS应该是慢了点
【在 w***g 的大作中提到】
: 原始数据存在NAS上, 训练前rsync到本地SSD.
: 最后收工了把工作目录再archive到NAS上.
: 训练数据必须倒腾到本地内存或者SSD上. NAS的吞吐量显然不够用的.
: 我常用的是本地2x500G SSD做raid0.
: 我的一堆机器基本上就是24x7在线的. 电费省不了. 最多冬天省点暖气费.
: LAN wake up没成功可能是switch的原因. 我以前用过一个啥green switch
: 就不支持LAN wake up.
|
w***g
发帖数: 5958 | 22 碰到ext4lazyinit了. 现在磁盘一秒中咔嚓一下, 已经咔嚓了一天多了.
据说得好几天才能完. 如果disable lazyinit, mkfs.ext4最多也就20分钟.
引用twitter上的贴: ext4lazyinit, what a fucking dumb idea!
显然这个已经引起公愤了
https://stackoverflow.com/questions/41967156/who-created-coded-ext4lazyinit-
for-ext4
这厮之前是写php的, 2010年1月加入redhat, 当年10月commit了这段傻x代码.
这个流毒太大了,只是大部分时候机器都在数据中心, sysadmin听不到咔嚓声.
php程序员可以直接转行写kernel么?
Update:
重新mount, 加-o init_itable=0, 现在好歹一秒中咔嚓好好几下了.
【在 w***g 的大作中提到】
: CPU G3930 $40
: 主板 refurb MSI B250M $60
: 内存 8G DDR4 $76
: 电源 EVGA打折电源 $10 AR
: 16G USB $9
: 电源IDE/SATA转换头 $7
: SATA线,螺丝 $15
: 机箱地下室回收 0
: ----------------------------------
: 除硬盘外总计 $217
|
N**********d
发帖数: 2466 | 23 看做哪方面，医疗AI方面DL，他这点T可能还不够塞牙缝的
【在 a*o 的大作中提到】
: 哎哟DL需要大硬盘？从来不知道啊，哥又得搭新机器了么？最近有点想学习一下DL。
|
s*******s
发帖数: 32 | |
g****d
发帖数: 3461 | 25
rsync不会超过150MB/s，
用bbcp zfs send/recv，很轻松上300MB/s。
这个是可以和NVME比IO速度的
https://www.glaver.org/raidzilla2/#nextgen
【在 w***g 的大作中提到】
: 原始数据存在NAS上, 训练前rsync到本地SSD.
: 最后收工了把工作目录再archive到NAS上.
: 训练数据必须倒腾到本地内存或者SSD上. NAS的吞吐量显然不够用的.
: 我常用的是本地2x500G SSD做raid0.
: 我的一堆机器基本上就是24x7在线的. 电费省不了. 最多冬天省点暖气费.
: LAN wake up没成功可能是switch的原因. 我以前用过一个啥green switch
: 就不支持LAN wake up.
|
g****d
发帖数: 3461 | 26
这个玩笑开得。
用上zfs send/recv，1g网不用并行拷贝，可以稳上100MB/s。
昨天做测试，网络文件读写差不多都是500MB/s。
现在同一个SAS RAID卡上iotop是这样的：
Total DISK READ : 409.86 M/s | Total DISK WRITE : 0.00 B/s
Actual DISK READ: 413.49 M/s | Actual DISK WRITE: 617.00 M/s
快的那个有八个4T盘NVME缓存，慢的只有四个8T盘没有NVME缓存。
【在 w***g 的大作中提到】
: ZFS性能确实是差的, 基本上就是被ext3秒杀的份.
: ZFS vs ext3基本上就和oracle vs mysql一样.
: 糙快猛的时候被秒杀, 必须大规模上档次的应用才能体现出优势.
|
