大量读HBase的任务该加线程还是进程？ - Programming版 - 未名存档

本页内容为未名空间相应帖子的节选和存档，一周内的贴子最多显示50字，超过一周显示500字访问原贴

Programming版 - 大量读HBase的任务该加线程还是进程？

相关主题
● 问个线程同步的问题	● 什么叫直接丢单？说话和做人要有底线，不能张口就来
● win 7 pro 正常情况多少进程/线程？	● 被ptmalloc坑了
● 线程共享变量问题，搞不懂。	● Goodbug这一伙人最大的问题就是不要脸
● Python 多线程或多进程如何搞	● 纯技术讨论：吞吐量的算法
● 12306一个比较好的想法是	● stack overflow 算大型 web app 么?
● 牛人们讨论下12306现行架构吧	● 再次请教关于AIX中线程以及优先级的问题
● 看样子需要整理一个 FAQ 了	● Unix Multi-processor Programming
● nickmit你过来	● 拜托推荐多线程和socket的书

相关话题的讨论汇总
话题: hbase话题: 进程话题: 任务话题: 线程话题: 该加

进入Programming版参与讨论

1

(共1页)

A*******e 发帖数: 2419	1 有一个任务，需要大量读HBase，处理后写到磁盘上。处理本身很简单。现在是两个任务/进程，每个任务四个线程。想增加吞吐量，是应该加线程，还是加进程？
x*******1 发帖数: 28835	2 自己tuning一下不久知道了？
A*******e 发帖数: 2419	3 那也得有合理解释啊。【在 x*******1 的大作中提到】 : 自己tuning一下不久知道了？
f*******t 发帖数: 7549	4 主要优化是把读取任务均匀分配到各region server上，单机读cluster，达到client的带宽限制应该不难。
f*********r 发帖数: 9	5 加线程和加进程应该都可以。不同的是，加线程会受限于host的带宽，加进程(假定多加的进程可以分布在别的host)则受限于hbase的带宽。如果进程只能在一台机上跑，那加线程和加进程没多大区别。【在 A*******e 的大作中提到】 : 有一个任务，需要大量读HBase，处理后写到磁盘上。处理本身很简单。 : 现在是两个任务/进程，每个任务四个线程。想增加吞吐量，是应该加线程，还是加进 : 程？

1

(共1页)

进入Programming版参与讨论

相关主题
● 拜托推荐多线程和socket的书	● 12306一个比较好的想法是
● 重复利用threads的问题	● 牛人们讨论下12306现行架构吧
● 如何GDB调试因pthread_cond_wait()阻塞的线程？ (转载)	● 看样子需要整理一个 FAQ 了
● Thread Priority 设为最高--窗口最小化时好像并不优先啊？	● nickmit你过来
● 问个线程同步的问题	● 什么叫直接丢单？说话和做人要有底线，不能张口就来
● win 7 pro 正常情况多少进程/线程？	● 被ptmalloc坑了
● 线程共享变量问题，搞不懂。	● Goodbug这一伙人最大的问题就是不要脸
● Python 多线程或多进程如何搞	● 纯技术讨论：吞吐量的算法

相关话题的讨论汇总
话题: hbase话题: 进程话题: 任务话题: 线程话题: 该加

未名新帖统计// 7月16日

#	版面	帖数(主题数)
-	全站	4871 (796)
1	Military	3777 (569)
2	Stock	341 (51)
3	Joke	117 (17)
4	History	116 (3)
5	Automobile	100 (9)
6	USANews	55 (9)
7	Midlife	45 (1)
8	Headline	41 (41)
9	Dreamer	33 (13)
10	FleaMarket	32 (20)
11	Living	30 (7)

* 这里只显示发帖超过25的版面，努力灌水吧:-)