p*****u
发帖数: 310 | 1 用的是 remote的 mysql。但是读操作太多，又要生成很多temp table，导致mysql特别
慢。网上查了许久，好像没有人有这个问题。大概是我们的job都是整点开始。请问有
什么好的solution吗？我们现在是master－slave，slave只是做back up的，并不take
traffic。如果改成master－master的话，没法保证一个client写之后立刻读，能读到
刚写的data。 |
w***g
发帖数: 5958 | 2 这个应该不至于产生瓶颈吧。修改/etc/my.cnf加入
[mysqld]
innodb_buffer_pool_size = 10000M
看看。
take
【在 p*****u 的大作中提到】
: 用的是 remote的 mysql。但是读操作太多，又要生成很多temp table，导致mysql特别
: 慢。网上查了许久，好像没有人有这个问题。大概是我们的job都是整点开始。请问有
: 什么好的solution吗？我们现在是master－slave，slave只是做back up的，并不take
: traffic。如果改成master－master的话，没法保证一个client写之后立刻读，能读到
: 刚写的data。
|
g*****g
发帖数: 34805 | 3 要在MySQL生成很多temp table，那基本就是架构错了。常见的处理，把需要的数据都
读出来，中间的临时数据可以内存/本地硬盘/Cache/Cassandra等等。
take
【在 p*****u 的大作中提到】
: 用的是 remote的 mysql。但是读操作太多，又要生成很多temp table，导致mysql特别
: 慢。网上查了许久，好像没有人有这个问题。大概是我们的job都是整点开始。请问有
: 什么好的solution吗？我们现在是master－slave，slave只是做back up的，并不take
: traffic。如果改成master－master的话，没法保证一个client写之后立刻读，能读到
: 刚写的data。
|
p*****u
发帖数: 310 | 4 同学，这是hive meta 的 database， 不是一般的mysql。
【在 g*****g 的大作中提到】
: 要在MySQL生成很多temp table，那基本就是架构错了。常见的处理，把需要的数据都
: 读出来，中间的临时数据可以内存/本地硬盘/Cache/Cassandra等等。
:
: take
|
l*****t
发帖数: 2019 | 5 没碰到这个问题呀。我们都是file number的问题。你们多少 file，多少node？
take
【在 p*****u 的大作中提到】
: 用的是 remote的 mysql。但是读操作太多，又要生成很多temp table，导致mysql特别
: 慢。网上查了许久，好像没有人有这个问题。大概是我们的job都是整点开始。请问有
: 什么好的solution吗？我们现在是master－slave，slave只是做back up的，并不take
: traffic。如果改成master－master的话，没法保证一个client写之后立刻读，能读到
: 刚写的data。
|
p*****u
发帖数: 310 | 6 我们改成8G， 好很多，但是有时还是会slow，特别是rerun failed的job时。
innodb_buffer_pool_size = 8589934592
tmp_table_size = 4294967296
max_heap_table_size = 4294967296
【在 w***g 的大作中提到】
: 这个应该不至于产生瓶颈吧。修改/etc/my.cnf加入
: [mysqld]
: innodb_buffer_pool_size = 10000M
: 看看。
:
: take
|
