D******n
发帖数: 2836 | 1 A question about server efficiency.
In our company we run a specific software everyday to do data manipulation
and statistical analysis. All the data can only be written to a common
folder for "security" reason. Save for the chaos caused by being able to
delete each other's files, will this be an I/O nightmare compared to being
able to spread out the data files into different folders(on the same or
different stripes)?
Thanks! |
D******n
发帖数: 2836 | 2 A question about server efficiency.
In our company we run a specific software everyday to do data manipulation
and statistical analysis. All the data can only be written to a common
folder for "security" reason. Save for the chaos caused by being able to
delete each other's files, will this be an I/O nightmare compared to being
able to spread out the data files into different folders(on the same or
different stripes)?
Thanks! |
s*****t
发帖数: 89 | 3 没看懂需求，不知道efficiency说的是哪个指标，如果要提高IO性能的话要看数据类型
和应用类型的吧？最好能合并小文件并把文件根据应用需求分布到不同磁盘上的不同文
件夹里面。没有确切应用上下文什么感觉都不好说 |
D******n
发帖数: 2836 | 4 性能就是指提交的job的运行时间。每个job都会读跟写data file。
就想知道是大家读写自己的folder好，还是都读写同一个folder好。
【在 s*****t 的大作中提到】
: 没看懂需求，不知道efficiency说的是哪个指标，如果要提高IO性能的话要看数据类型
: 和应用类型的吧？最好能合并小文件并把文件根据应用需求分布到不同磁盘上的不同文
: 件夹里面。没有确切应用上下文什么感觉都不好说
|
c*****m
发帖数: 1160 | 5 要看自己的情况吧。
1，读写频率。是一天读写一万次呢，还是两次？读的多，还是写的多？
2，文件大小？每个文件是10G呢，还是3k?
3，读写有没有冲突，有没有多人要同时读写同一个文件的情况？
4，用户与服务器是在同一个局域网内呢，还是互联网连接？速度如何？
这些是我能想到的在做决定前要考虑的。 |
b*******s
发帖数: 5216 | 6 还有些tuning的，比如检查网卡frame size和你的路由器是不是一样
需要不需要换网卡，要不要做网卡binding，是不是内存太少导致网络buffer小
子网掩码是不是设对了（你的第四项）
【在 c*****m 的大作中提到】
: 要看自己的情况吧。
: 1，读写频率。是一天读写一万次呢，还是两次？读的多，还是写的多？
: 2，文件大小？每个文件是10G呢，还是3k?
: 3，读写有没有冲突，有没有多人要同时读写同一个文件的情况？
: 4，用户与服务器是在同一个局域网内呢，还是互联网连接？速度如何？
: 这些是我能想到的在做决定前要考虑的。
|
S*A
发帖数: 7142 | 7 这个和文件系统有关。
我想主要是你的目录里面有多少文件和你的 app 的文件访问顺序。
目录只是影响 dentry 的 lookup 和 update。
访问文件的时候，绝大多数情况 dentry 已经被 cache。
所以如果文件的 IO 远远多与 dentry IO 的情况下，
用哪个 folder 影响应该不是太大。
需要注意的情况是如果目录里面文件很多很多，
或者文件都很小，那 dentry IO 就占用文件访问成本
的比较大部分。听起来你的 job 应该是用大文件
比较多，所以影响应该不大。
就算在同一个 folder 下面，你也可以 mount --bind
其他的目录进来。所以你一定要 stripes 也是可以做的。 |
