j**********3
发帖数: 3211 | 1 前几天发帖问了几个数据库的区别，其实是因为我要用一些rest api，返回的json数据
我直接存芒果里了，所以才问各位芒果啊一些db的区别。
但是，我发现这样做太慢了。。。。call api太慢。
有啥好办法 |
n*****t
发帖数: 22014 | 2 访问数据库当然要 api，除非你直接扔内存不管。用哪个 driver 看你的语言了，js
的话，mongodb native driver 大概比 mongoose 快 3 倍。
【在 j**********3 的大作中提到】
: 前几天发帖问了几个数据库的区别，其实是因为我要用一些rest api，返回的json数据
: 我直接存芒果里了，所以才问各位芒果啊一些db的区别。
: 但是，我发现这样做太慢了。。。。call api太慢。
: 有啥好办法
|
j**********3
发帖数: 3211 | 3 我急着下班走写错了，但你理解我说的了。就是这个意思。
我昨天发现慢的不能忍了，于是想了几个办法，您看看也给点建议：
1. 写个dict，每次返回的结果放里边 －－－－－－－这个是最没用的，我啥也没学
2. 需要上个memcache么？ 先存内存里？然后再写进disk中的其他db？ －－－ 好吧暴
露我的无知了。。。
3. 我要不要多线程call人家的api，storm＋hadoop里 －－－－ 我知道我更无知了。
。。希望大家多给我讲讲。。。我只知道storm是对于stream的。。。。hadoop里边可
以分块，所以？？？
我就是想玩玩这些而已。。。大牛请多指教，求狠批
【在 n*****t 的大作中提到】
: 访问数据库当然要 api，除非你直接扔内存不管。用哪个 driver 看你的语言了，js
: 的话，mongodb native driver 大概比 mongoose 快 3 倍。
|
n*****t
发帖数: 22014 | 4 其实我比你还菜鸟 。。。看看这个或许有点帮助吧
http://kkovacs.eu/cassandra-vs-mongodb-vs-couchdb-vs-redis
【在 j**********3 的大作中提到】
: 我急着下班走写错了，但你理解我说的了。就是这个意思。
: 我昨天发现慢的不能忍了，于是想了几个办法，您看看也给点建议：
: 1. 写个dict，每次返回的结果放里边 －－－－－－－这个是最没用的，我啥也没学
: 2. 需要上个memcache么？ 先存内存里？然后再写进disk中的其他db？ －－－ 好吧暴
: 露我的无知了。。。
: 3. 我要不要多线程call人家的api，storm＋hadoop里 －－－－ 我知道我更无知了。
: 。。希望大家多给我讲讲。。。我只知道storm是对于stream的。。。。hadoop里边可
: 以分块，所以？？？
: 我就是想玩玩这些而已。。。大牛请多指教，求狠批
|
l******s
发帖数: 3045 | |
j**********3
发帖数: 3211 | |
n*****t
发帖数: 22014 | 7 大牛是赵老师吧，阿拉连提鞋都要排 queue
【在 j**********3 的大作中提到】
: 你不是本版大牛嘛？
|
z****e
发帖数: 54598 | 8
我在古德霸还有wwzz这些前辈眼里，不过一小菜
【在 n*****t 的大作中提到】
: 大牛是赵老师吧，阿拉连提鞋都要排 queue
|
z****e
发帖数: 54598 | 9 你要知道是哪一步慢啊
访问rest的网络导致的慢，还是程序跟mongo的io慢
还是mongo的操作慢，先分析再说 |
j**********3
发帖数: 3211 | 10 要怎样能测出来是哪步慢？
我觉得不是rest的网络慢。我是开始要一次call rest api一堆数据，然后一次存，这
个时候快。之后要对每一条都call一次，然后存，才发现原来这么慢。。。。。。。
所以我感觉应该是和芒果的问题
要怎么测？
【在 z****e 的大作中提到】
: 你要知道是哪一步慢啊
: 访问rest的网络导致的慢，还是程序跟mongo的io慢
: 还是mongo的操作慢，先分析再说
|
|
|
l*********s
发帖数: 5409 | 11 it is still i/o delay ba. Any database will be as slow if queried in such
a way.
【在 j**********3 的大作中提到】
: 要怎样能测出来是哪步慢？
: 我觉得不是rest的网络慢。我是开始要一次call rest api一堆数据，然后一次存，这
: 个时候快。之后要对每一条都call一次，然后存，才发现原来这么慢。。。。。。。
: 所以我感觉应该是和芒果的问题
: 要怎么测？
|
j**********3
发帖数: 3211 | 12 所以有什么好方法解决呢？
【在 l*********s 的大作中提到】
: it is still i/o delay ba. Any database will be as slow if queried in such
: a way.
|
l*********s
发帖数: 5409 | 13 try batch/transaction/parallelism.
【在 j**********3 的大作中提到】
: 所以有什么好方法解决呢？
|
j**********3
发帖数: 3211 | 14 我去搜搜，谢谢！
【在 l*********s 的大作中提到】
: try batch/transaction/parallelism.
|
n*****t
发帖数: 22014 | 15 把 DB 放在 ramfs，把 mongo 放到 local，top 看看哪个进程占 CPU，反正就是做实
验隔离问题吧。阿拉马工比千老强的地方，就是大多数实验都可以有确定结果，而且在
厨房抠着脚丫子就能开始搞。
【在 j**********3 的大作中提到】
: 所以有什么好方法解决呢？
|
