w***g
发帖数: 5958 | 1 我们想搞一个廉价的cluster filesystem，没有SAN也没有RAID。最近发现了glusterfs
这个东东，但貌似不是很成熟。希望有用过的朋友过来讲讲。 |
|
G*****h
发帖数: 33134 | 2 glusterfs 偶喜欢，没用过
freenas 干啥的？有 samba 不就行了么 |
|
|
w***g
发帖数: 5958 | 4 文件系统其实功能不重要，最最最最关键的是要稳定不能丢数据。glusterfs被设计成
一个万能药，功能看着很多很好，但他们从来没在稳定性上下过功夫。我08年到11年一
直在follow他们，就是冲他们功能设计不错。但是稳定性一直没做好，在我们的
cluster上没有顺利运行过一次，我都还没上stress test呢。所以我说是垃圾。 |
|
L*****r
发帖数: 832 | 5 position in storage/networking performance team
Requirements:
- MS or Ph.D. in computer science or engineering
- 5+ years of industry experience or equivalent research experience
- Strong background in storage and networking
- Strong background in operating system internals including:
a)Hands on Unix/Linux/BSD kernel development
b) Expertise in performance optimizations for file systems such as HDFS, ZFS
, IBM-GPFS, CXFS, GFS/GFS2, GlusterFS, CacheFS, ...
- Experience in algorithm development, o... 阅读全帖 |
|
r********n
发帖数: 300 | 6 【 以下文字转载自 SanFrancisco 讨论区 】
发信人: ricevision (孰能生巧), 信区: SanFrancisco
标 题: Hiring
发信站: BBS 未名空间站 (Wed Nov 10 01:12:44 2010, 美东)
(Several client side mobile app developers and server side Ruby developers and the following... drop your resume if interested)
Senior Operations Engineer
What you’ll be doing:
We are looking for a senior operations engineer to join our rapidly growing
team. You will be responsible for the security, stability, and scalability
of our production infrastructure. You’ll ge... 阅读全帖 |
|
r********n
发帖数: 300 | 7 (Several client side mobile app developers and server side Ruby developers and the following... drop your resume if interested)
Senior Operations Engineer
What you’ll be doing:
We are looking for a senior operations engineer to join our rapidly growing
team. You will be responsible for the security, stability, and scalability
of our production infrastructure. You’ll get to work hands on with plenty
of exciting scale challenges as we grow to support tens of millions of users
across hundreds of se... 阅读全帖 |
|
s******7
发帖数: 350 | 8 这是不同层面的事，RAID在层面上可以跟JBOD比但本身不是文件系统，虽然hadoop，
GlusterFS和Ceph等等分布式文件系统本身就包括类似的RAID功能甚至更高级，ZFS等本
地文件系统本身也包括RAID,但原则上可以建立在JBOD上，也可以在传统RAID，有些像
OPENSTACK也包括VMWARE ESX的不少功能但是不同层面的东西一样。如果只有一台机器
，还是用RAID或者ZFS之类，如果是两台机器做存储，可以考虑Gluster分布式文件系统
什么的，多台机器企业应用再考虑其它的分布式文件系统。另外，不管怎么说，每台机
器的系统盘大多数情况下还是用RAID更合理。 |
|
|
c*********3
发帖数: 197 | 10 怎么样的垃圾，说来看看。如果太烂了就懒得去折腾啦 |
|
d********g
发帖数: 10550 | 11 我公司用了好几年的gluster了。到现在还是天天卡，确实垃圾 |
|
|
d********g
发帖数: 10550 | 13 别stress test了，普通用用就卡得不行，命令行tab一下等10秒才出来提示，直接NFS
都比它快一万倍 |
|
w***g
发帖数: 5958 | 14 那是因为它没有中央节点列一下目录需要跟cluster中所有的node通信。列目录基本上
就是最费时的操作。打开文件后如果不出错应该就和NFS一样快了。
你们有丢文件或者文件删除不干净的情况吗？
NFS |
|
d********g
发帖数: 10550 | 15 有时候会遇到打开文件出错的情况，像一些需要load大量.so的程序经常说找不到文件
，拷到local storage就好了。用起来很不爽 |
|
w***g
发帖数: 5958 | 16 跟我这边的情况差不多。你们公司的IT真够脑残的。 |
|
|
|
z*****g
发帖数: 810 | 19 FreeNAS is okay, but just for small biz used...my working company not use
this |
|
w***g
发帖数: 5958 | 20 我以前是在学校实验室。用FreeBSD做NFS，带50台机器的cluster没问题。现在搞一台
两千块钱的低端server，可以挂6个3T的硬盘，mirror了还有9T。就是备份不好做。
Linux的NFS太烂，带十多台机器就不行了。 |
|
d********g
发帖数: 10550 | 21 最初架系统的人偏学术，搞些不靠谱的开源，遗毒至今
现在这个admin还是很牛的，不过架不住gluster烂泥扶不上墙 |
|
D*******a
发帖数: 3688 | 22 试过glusterfs吗？
hdfs好像没有人直接用来serve static files的，而且也不是很好集成吧（至少需要写
点code） |
|
w***g
发帖数: 5958 | 23 glusterfs是个垃圾。idea不错，就是implement一直有问题，不适合用来存数据。
上了这个之后有你受的。我记得它读目录是去每个节点读一下，然后把结果合并，连数
据丢了都不会报错的。 |
|
w**z
发帖数: 8232 | 24 我的另外一个projet 用了Eureka， 不错。
现在，要把我们公司的site （当初脑残用wordpress 搞的）放到EC2上，一个instance
应该不行的。但wordpress的image是存在disk上的。EBS volume 只能attach 在一个
instance. I found this blog,
http://blog.celingest.com/en/2013/09/10/highly-available-wordpr
Looks like I have to set some sort of distribute file system. like GlusterFS
mentioned in the blog. |
|
g*****g
发帖数: 34805 | 25 Typical solution for images is S3. S3's availability is quite high.
EBS also has lower availability based on experience. We are mostly using S3/
in-instance Cassandra cluster/RDS for storage.
Maybe all you need to do is changing the part of reading file to reading S3.
instance
GlusterFS |
|
