由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Java版 - mongodb自带的map/reduce跟hadoop的有什么关联吗?
相关主题
听说这里big data大拿多, MongoDB和Cassandra,Damn, love Cassandra
总结并分享一下工作中学到的各种技术这里有人玩hadoop/hbase么?
BIgData对job market的影响?开发前景光明啊
现在感觉到为什么大家说mongo有很多问题了如何学习 Hadoop
听说HBase很难用cloudera的hadoop有什么不同?
现在的工作完全不用spring,hibernate,以后跳槽是不是会显得很弱?Goodbug能提供一些Spring, Hibernate, Cassandra入门资料吗
越来越讨厌relational database了Netflix用什么Java Framework (转载)
需求建议,关于NOSQLCassandra2.0好用吗?
相关话题的讨论汇总
话题: mongodb话题: cql话题: hadoop话题: reduce话题: map
进入Java版参与讨论
1 (共1页)
p*****2
发帖数: 21240
1
从功能上来说。是不是一般的处理用mongodb的也可以呀?
p*****3
发帖数: 488
2
不知道啊
z****e
发帖数: 54598
3
是吧,其关系就跟hbase和mongodb一样
t*******e
发帖数: 684
4
没有关系。Mongo做Hadoop的data source也不会快过HBase,没有data proximity。
p*****2
发帖数: 21240
5

我是说mongo自带的map/reduce feature。如果简单的应用是不是就不用上hadoop了?

【在 t*******e 的大作中提到】
: 没有关系。Mongo做Hadoop的data source也不会快过HBase,没有data proximity。
l*******m
发帖数: 1096
6
mongo的mr是用的js, 还没有用v8, 十分慢

【在 p*****2 的大作中提到】
:
: 我是说mongo自带的map/reduce feature。如果简单的应用是不是就不用上hadoop了?

z****e
发帖数: 54598
7
mongodb真是nosql里面的一块奇芭
既然都用c写了,怎么mapreduce还用其它的引擎?

【在 l*******m 的大作中提到】
: mongo的mr是用的js, 还没有用v8, 十分慢
l*******m
发帖数: 1096
8
人手不够吧。先搞个js version, c 慢慢搞。他的query是基于c的, 比较快,但有内
存限制。反正十分恶心。只适合作ad hoc 小databases

【在 z****e 的大作中提到】
: mongodb真是nosql里面的一块奇芭
: 既然都用c写了,怎么mapreduce还用其它的引擎?

t*******e
发帖数: 684
9
主要是index都放memory里面。data size没什么限制,但index size的限制影响可执行
的ad hoc queries数量。

【在 l*******m 的大作中提到】
: 人手不够吧。先搞个js version, c 慢慢搞。他的query是基于c的, 比较快,但有内
: 存限制。反正十分恶心。只适合作ad hoc 小databases

g*****g
发帖数: 34805
10
mongo就是对RDBMS过来的上手比较容易,scale一上来一堆恶心东西。
相关主题
现在的工作完全不用spring,hibernate,以后跳槽是不是会显得很弱?Damn, love Cassandra
越来越讨厌relational database了这里有人玩hadoop/hbase么?
需求建议,关于NOSQL开发前景光明啊
进入Java版参与讨论
p*****2
发帖数: 21240
11
看来就是适合startup呀。scale小的时候用起来可能不错。
p*****2
发帖数: 21240
12
cassandra的query一般怎么搞呀?
p***c
发帖数: 5202
13
CQL或者自己写mapreduce吧
CQL也比较狗血

【在 p*****2 的大作中提到】
: cassandra的query一般怎么搞呀?
w**z
发帖数: 8232
14
C* is like a big hash table. you need to query by row key , then do column
slice based on column name. Columns are stored sorted on the disk. it is
called SStable .

【在 p*****2 的大作中提到】
: cassandra的query一般怎么搞呀?
w**z
发帖数: 8232
15
cql is bad.

【在 p***c 的大作中提到】
: CQL或者自己写mapreduce吧
: CQL也比较狗血

p***c
发帖数: 5202
16
嗯,这个我知道,用了下,不称手
只能query key?那不是非常原始?

【在 w**z 的大作中提到】
: cql is bad.
w**z
发帖数: 8232
17
you need to design schema that way, otherwise C* is not for you . cql is
misleading, if you don't understand how c* stores data, it will bite you.

【在 p***c 的大作中提到】
: 嗯,这个我知道,用了下,不称手
: 只能query key?那不是非常原始?

p***c
发帖数: 5202
18
Thanks for the tip. 有推荐的视频文章之类的么?最近正在挑后台平台

.

【在 w**z 的大作中提到】
: you need to design schema that way, otherwise C* is not for you . cql is
: misleading, if you don't understand how c* stores data, it will bite you.

w**z
发帖数: 8232
19
datastax has decent documentation.

【在 p***c 的大作中提到】
: Thanks for the tip. 有推荐的视频文章之类的么?最近正在挑后台平台
:
: .

p***c
发帖数: 5202
20
Thanks
我就是在datastax上找了几个例子,试了下cql,就发现文档不行,还得google菜发现
spec变了,syntax也变了,我靠,浪费了生命中宝贵半小时。文档或者教程都不清楚
,各个版本之间文档也不太准确,说实话文档support上比10gen的差

【在 w**z 的大作中提到】
: datastax has decent documentation.
相关主题
如何学习 HadoopNetflix用什么Java Framework (转载)
cloudera的hadoop有什么不同?Cassandra2.0好用吗?
Goodbug能提供一些Spring, Hibernate, Cassandra入门资料吗问一个webapp authentication的implementation
进入Java版参与讨论
w**z
发帖数: 8232
21
there is mail list and IRC . You can ask question there.

【在 p***c 的大作中提到】
: Thanks
: 我就是在datastax上找了几个例子,试了下cql,就发现文档不行,还得google菜发现
: spec变了,syntax也变了,我靠,浪费了生命中宝贵半小时。文档或者教程都不清楚
: ,各个版本之间文档也不太准确,说实话文档support上比10gen的差

g*****g
发帖数: 34805
22
cql is actually too high level for many jobs, and it makes you think like
SQL.
Try astyanax, a low level API that's pretty easy to pick up. When I started
with Cassandra, cql didn't even exist, the only alternative was cli.

【在 p***c 的大作中提到】
: Thanks
: 我就是在datastax上找了几个例子,试了下cql,就发现文档不行,还得google菜发现
: spec变了,syntax也变了,我靠,浪费了生命中宝贵半小时。文档或者教程都不清楚
: ,各个版本之间文档也不太准确,说实话文档support上比10gen的差

p***c
发帖数: 5202
23
Thanks,will check it out

started

【在 g*****g 的大作中提到】
: cql is actually too high level for many jobs, and it makes you think like
: SQL.
: Try astyanax, a low level API that's pretty easy to pick up. When I started
: with Cassandra, cql didn't even exist, the only alternative was cli.

p***c
发帖数: 5202
24
Thanks, you guys are more helpful, hahaha

【在 w**z 的大作中提到】
: there is mail list and IRC . You can ask question there.
t*******e
发帖数: 684
25
NoSQL一般都不是general purpose OLTP。Mongo算是不错的,比较类似SQL。优点是非
常快,但看看实际的use cases,大都是用来archive data。一般没特殊要求还是
relational最可靠。

【在 p*****2 的大作中提到】
: 看来就是适合startup呀。scale小的时候用起来可能不错。
w**z
发帖数: 8232
26
yes, astyanax is the best Java client lib. it is backed by netflix. the
only drawback is you have to live with what N is using. I don't think they
are using 1.2 yet . so you might not get the support for the latest feature
. but in most cases , it is ok. Cannot go wrong following big guys. if you
are going to deploy C* in AWS, N has the best tools for that also. Check
out their github, you will be amazed .

started

【在 g*****g 的大作中提到】
: cql is actually too high level for many jobs, and it makes you think like
: SQL.
: Try astyanax, a low level API that's pretty easy to pick up. When I started
: with Cassandra, cql didn't even exist, the only alternative was cli.

c****e
发帖数: 1453
27
Even with V8, MR with JS on mongoDB is still quite slow. For data larger
than 500G, be patient.
But there are various ways to hook up with hadoop, 10gen has their own
connetor, and I like this approach from groupon, a little bit hacky but
handy.
https://engineering.groupon.com/2013/big-data/mongodb-mapreduce-with-hadoop/
1 (共1页)
进入Java版参与讨论
相关主题
Cassandra2.0好用吗?听说HBase很难用
问一个webapp authentication的implementation现在的工作完全不用spring,hibernate,以后跳槽是不是会显得很弱?
我来说一下什么是烂技术吧,补充一下是从找工作混饭角度。越来越讨厌relational database了
一般来说MYSQL可以handle多大的数据量呢?需求建议,关于NOSQL
听说这里big data大拿多, MongoDB和Cassandra,Damn, love Cassandra
总结并分享一下工作中学到的各种技术这里有人玩hadoop/hbase么?
BIgData对job market的影响?开发前景光明啊
现在感觉到为什么大家说mongo有很多问题了如何学习 Hadoop
相关话题的讨论汇总
话题: mongodb话题: cql话题: hadoop话题: reduce话题: map