z****e
发帖数: 54598 | 1 【 以下文字转载自 Java 讨论区 】
发信人: zhaoce (米高蜥蜴), 信区: Java
标 题: 有人知道newsql吗？
发信站: BBS 未名空间站 (Mon Jul 7 00:44:17 2014, 美东)
据说是提出来替换oracle db的
oracle db之所以卖得好就是分布式上它比一般的db要强
newsql就冲着这个过去
http://newsql.sourceforge.net/ |
|
z****e
发帖数: 54598 | 2 太吃资源
acid加进去，现在网络那种速度
呵呵
google最近是不是在把newsql往很多产品上加
妈蛋，体验很差的说，经常我更新了一个东西
也提交成功了，回头一看，哎呀，居然没有更新成功
我敲了一堆字母，tmd就这样没了，气死
然后干脆不写了 |
|
c********1
发帖数: 421 | 3 感谢赵老师指点
“如果实在是db撑不住，那就看看newsql吧
db有75％的时间浪费在一些其实没啥必要的事情上
什么write ahead log之类的，不过newsql还不成熟”
这里面“如果实在是db撑不住”是什么意思？
另外“DB”又是指什么？我个人觉得（不对请指正），DB包括所有的sql,nosql,newsql
您前面说如果DB的performance不符合需要，可以干掉DB...
newsql本身也是一种DB吧 |
|
m***a
发帖数: 13878 | 4 回国生活的过程并不是一帆风顺的，它包含着挺多的辛酸和适应过程，这是每一个回国
的人都会经历的。对于我这种在国外生活了十年，把美国的各种先进设施用尽其极的人
，就更显得失落和困难。习以为常的各种条件和设施忽然间没有了，花钱都买不到，你
想想是什么样的感觉？回家的第一天，累得精疲力尽到了家，把小莫奈从包里放出来，
就钻到床底下，糊了一身的灰，是什么样的感觉！
实话说，虽然国内很多方面比美国好，然而国内的居住条件和设施，很难达到美国的舒
适合理程度。国内很多设施设计不合理，不舒服，甚至破烂肮脏的情况比比皆是，很多
时候花很多钱还得不到合理的质量。所以寻找一个可以接受的住所，成为了我回国首先
需要解决的问题。
经过将近一个月，对全国主要城市的考察，我最后决定把成都和上海作为根据地。具体
的原因我就不多说了，免得引起这两个地方房价上涨 :P
我现在已经在成都初步建立起了自己的根据地，生活逐渐走上正轨。于是现在有点闲情
逸致，来谈谈我将要进行的计划。其实谈不上闲情逸致，因为我是扛着隔壁小区的建筑
噪音引起的早起和困倦在写这篇文章……
A 计划（新型数据库）
我现在最感兴趣的一件事情，也是技术难度最... 阅读全帖 |
|
s*****r
发帖数: 43070 | 5 赵大牛此言差矣啊
NoSQL 也能定义schema的，实现方式和传统关系型数据库不太一样。你要有时间，可以
看看俺狗的spanner文章，俺狗还给了个好听的名字，叫NewSQL
现在能玩NewSQL的地方并不多见，中国有阿里，美国有俺狗，都是建立在云平台上面的
新型分布式数据库，既能像NoSQL那样自动scale up，也支持transaction和SQL，而且
query language比SQL更牛X。
银行的交易系统不是不可替代的，看看支付宝的功能，一点不比银行少。俺觉得某天信
用卡都有可能消失，何况没多少技术含量的银行后台 |
|
z****e
发帖数: 54598 | 6 nosql＋newsql，应该以后都会转成这两个
sql作为备用，主要是newsql现在发展还不成熟
有时候不敢太激进，还是用postgresql
oracle，mysql现在慢慢不用了 |
|
z****e
发帖数: 54598 | 7 sp高度依赖db，换个db就不能用了，不少db不支持sp
sp当然可以做一些简单的逻辑，要不然就不叫sp了
backend里面这种陷阱很多，一旦陷进去，以后再拔出来时候
就加倍还回去，当你高度依赖一个db的时候，比如oracle
那么oracle哪天突然觉得不爽了，license fee加倍，咋办？
至于并发带来的锁的冲突，这个就是为啥我们需要jta
jta封装了所有的底层逻辑，你只需要拿到context之后
选择ctx.begin，然后ctx.commit就好了，或者高级点@Transaction
剩下的底层逻辑压给框架比如hibernate去做，你就不需要折腾了
如果性能上有问题，那就直接干掉db
用nosql分担大部分persistence的东西
如果实在是db撑不住，那就看看newsql吧
db有75％的时间浪费在一些其实没啥必要的事情上
什么write ahead log之类的，不过newsql还不成熟 |
|
|
d******c
发帖数: 2407 | 9 http://www.yinwang.org/blog-cn/2017/09/05/plans
商业计划
回国生活的过程并不是一帆风顺的，它包含着挺多的辛酸和适应过程，这是每一个回国
的人都会经历的。对于我这种在国外生活了十年，把美国的各种先进设施用尽其极的人
，就更显得失落和困难。习以为常的各种条件和设施忽然间没有了，花钱都买不到，你
想想是什么样的感觉？回家的第一天，累得精疲力尽到了家，把小莫奈从包里放出来，
就钻到床底下，糊了一身的灰，是什么样的感觉！
实话说，虽然国内很多方面比美国好，然而国内的居住条件和设施，很难达到美国的舒
适合理程度。国内很多设施设计不合理，不舒服，甚至破烂肮脏的情况比比皆是，很多
时候花很多钱还得不到合理的质量。所以寻找一个可以接受的住所，成为了我回国首先
需要解决的问题。
经过将近一个月，对全国主要城市的考察，我最后决定把成都和上海作为根据地。具体
的原因我就不多说了，免得引起这两个地方房价上涨 :P
我现在已经在成都初步建立起了自己的根据地，生活逐渐走上正轨。于是现在有点闲情
逸致，来谈谈我将要进行的计划。其实谈不上闲情逸致，因为我是扛着隔壁小区的建... 阅读全帖 |
|
发帖数: 1 | 10 并发个几把
内叫并行
Lol 还有你不知道现在趋势是newsql吗 |
|
l*****t
发帖数: 2019 | 11 现在装B的直接说NewSQL了。NoSQL out了。厚厚。 |
|
l*****t
发帖数: 2019 | 12 这个就像人发明NoSQL或多或少从google 2006年bigtable paper开始的；这个NewSQL貌
似是从2012spanner paper开始的。
不得不说google还是牛，领导科技，就是可恨他们close source的culture. |
|
l*****t
发帖数: 2019 | 13 这个太一眼难尽了。而且也没看懂Cassandra vs Cloudera, 你说Cassandra vs HBase
or Datastax.vs Cloudera?
要通关，我觉得攻略是
1）看老paper：amazon dynamo, google bigtable 2002 acm paper, google dremel
paper
2）看网上评论，你的问题就是keywords
3）future hadoop:
a) YARN
b) all different angles to shift focus from offline to online/nearline.
i)Hive SQL enhancement, Tez, sting, phoenix
ii) impala, dremel (以及non-hadoop, spark/shark, mpp)
c) Hbase datacenter aware
d) 网上搜下 "Hortonworks objectives 2013"
e) Watch HadoopSummit 2013 vid... 阅读全帖 |
|
s******e
发帖数: 493 | 14 要赞一下。 非常详尽.
有点头昏眼花。太多名字啦。
played with hadoop when it was very young. I am really off the trends now.(
even my question was not correct -:) ). I really do not want to spend a year
so I can ask a right question. Can you help me categorize those big
names based on hadoop/mapreduce, nosql, newsql or whatever categories you
think they fit? That way i can go through them quickly. Forgive me for not
having patience to read those suggested research papers.
HBase |
|
z****e
发帖数: 54598 | 15 哪
oracle db的license什么用不起
是被插管吸血得还不够，就是因为利润太丰厚了
所以被盯上，然后几个阿三带着ppt过来忽悠各种产品
上workflow，上各种扯蛋得玩意，结果系统一天比一天难用
最后当年利润下滑，ceo引咎辞职，连同cio, hr的头几个一起滚蛋
我们底下干活的太清楚不过了，软件就是不能听这些阿三忽悠
都是骗子，还好当时core system是自己写的，所以保证core system不被忽悠
外围的那些系统后来全部砍掉，分公司全部卖掉，就专注地做core system
这样才算挺过来，没被插管吸血插死，这个有什么好争的
ibm websphere一个license可以卖￥32万，只能让一个cpu用一年
有几个公司这么大方能让人随便这样搞的？去ioe从本质上说就是钱的问题
都是这行的，我说的对不对，有几年经验的自然看得出来
至于你说得基于hadoop得数据库，什么意思？
hdfs是底层的file system，在此基础之上有hbase这一个数据库
而且还是cp系统，所以后来引入了ap系统的cassandra作为补充
你说基于hadoop的数据库，说实在话，我... 阅读全帖 |
|
z****e
发帖数: 54598 | 16 哪
oracle db的license什么用不起
是被插管吸血得还不够，就是因为利润太丰厚了
所以被盯上，然后几个阿三带着ppt过来忽悠各种产品
上workflow，上各种扯蛋得玩意，结果系统一天比一天难用
最后当年利润下滑，ceo引咎辞职，连同cio, hr的头几个一起滚蛋
我们底下干活的太清楚不过了，软件就是不能听这些阿三忽悠
都是骗子，还好当时core system是自己写的，所以保证core system不被忽悠
外围的那些系统后来全部砍掉，分公司全部卖掉，就专注地做core system
这样才算挺过来，没被插管吸血插死，这个有什么好争的
ibm websphere一个license可以卖￥32万，只能让一个cpu用一年
有几个公司这么大方能让人随便这样搞的？去ioe从本质上说就是钱的问题
都是这行的，我说的对不对，有几年经验的自然看得出来
至于你说得基于hadoop得数据库，什么意思？
hdfs是底层的file system，在此基础之上有hbase这一个数据库
而且还是cp系统，所以后来引入了ap系统的cassandra作为补充
你说基于hadoop的数据库，说实在话，我... 阅读全帖 |
|
z****e
发帖数: 54598 | 17 fb的产品没啥市场，我说的市场不是消费者市场
关键是软件产品没啥人用
fb做的最出名的软件产品是cassandra
这个是fb自己做失败的产品，然后交给apache
被apache弄活了，fb的软件产品开源了不少
但是市场反映可以说用非常平淡来形容都不为过
我是没有遇到过哪家软件公司会用fb的产品的
用的最多的是cassandra，这个说了，是apache的威力
fb有钱，这样瞎搞可以，其他公司，哪有办法这样搞
处理底层memory就是跟硬件去接触
没有几个人真喜欢搞这些，写软件最大的乐趣就在于不需要搭理硬件
db还有nosql，newsql那些说白了就是一个硬盘上的文件管理系统
db和两sql对于硬盘的封装，跟jvm对于内存，os对于cpu的封装是类似的
这些软件产品都可以归类到系统软件中去
都属于基础建设的一部分，这些东西，以前基建比较糟糕的时候
还可以骗钱，现在，开源到处都是，以后要通过这些东西骗钱会越来越难
因为开源不用钱，再便宜跟不用钱比？怎么比？
这些东西都是轮子，各个公司自己都会造那么一点
但是其他公司压根就不用，因为有一个vendor lockin的问题
比如googl... 阅读全帖 |
|
z****e
发帖数: 54598 | 18 猴屁股你这个不靠谱
加大l1 cache做db的不是没有人这么干
而且之前不纯用memory我觉得就是一个错误
搞得最后都当成batch来用
不全用memory的好处就是recover之后还可以找回来
那这种容灾机制现在连传统db都在面临着挑战，你看看newsql
里面就对这些东西提出了质疑
把太多资源浪费在这些其实发生概率很小的事情上
还不如不做，反正本来很多东西就不精确
而且以后都cloud了，你要多少内存，还不是就是一个按钮的事 |
|
z****e
发帖数: 54598 | 19 猴屁股你这个不靠谱
加大l1 cache做db的不是没有人这么干
而且之前不纯用memory我觉得就是一个错误
搞得最后都当成batch来用
不全用memory的好处就是recover之后还可以找回来
那这种容灾机制现在连传统db都在面临着挑战，你看看newsql
里面就对这些东西提出了质疑
把太多资源浪费在这些其实发生概率很小的事情上
还不如不做，反正本来很多东西就不精确
而且以后都cloud了，你要多少内存，还不是就是一个按钮的事 |
|
g*****g
发帖数: 34805 | 20 这话说的，不是有机器就能 scale，要不然也不会NoSQL, NewSQL的。另外规模越大，
优化越值钱。 |
|
z****e
发帖数: 54598 | 21 因为树结构对比hashcode为代表的索引方式
仅仅在需要删除的时候，才体现出起优势来
删除时候reorg的话，直接往上依次弹出就好
如果不需要删除，仅仅是插入，新增这些的话
效率不如hashtable，更不如后续的各种优化后的hashtable
还有就是前面说的各种db，底层也就是b-tree
不过现在已经发现这个结构有些老了
正在讨论如何优化，这就是newsql
tree的确是很老的结构了，类似牛顿
但是hashcode的发明，类似爱因斯坦 |
|
t*******e
发帖数: 684 | 22 淘宝是什么都用, mysql cluster, CDN, 自己研发的NewSQL-OceanBase, 数据分析用
Hadoop, storm等等。 能达到目前的high availability也是相当不容易了。 |
|
t*******e
发帖数: 684 | 23 淘宝是什么都用, mysql cluster, CDN, 自己研发的NewSQL-OceanBase, 数据分析用
Hadoop, storm等等。 能达到目前的high availability也是相当不容易了。 |
|
j********x
发帖数: 2330 | 24 啥不是钱的问题
g做cloud的人不多 需要招人 挖人
g要市场宣传
g要价格上beat 可能会需要前期投入
至于你说的优化问题 或者用户测试 我觉得以g在it新浪潮中的旗手地位 找人测试不是
问题 要知道可以value dfs mr nosql newSQL都是g先探的路
其实你完全不了解a的优势在哪里
a的优势在customer sevice和vendor locking
g不缺钱 不缺技术 不缺市场号召力 但是缺quality products。
但是这些格局几年之内可能由于a的急速扩张让g失去决战的契机 |
|
c******o
发帖数: 1277 | 25 嗯，赞
我现在觉得复杂的还是sql/nosql/newsql一起用好。 |
|
z****e
发帖数: 54598 | 26 不用看，直接把db干掉
用nosql+newsql的组合
这样就不用jdbc也不用hibernate了
现在db里面数据都很工整，也没啥你发挥的空间 |
|
z****e
发帖数: 54598 | 27 ejb3可以选择是beans.xml还是传统的container management
ejb最大的毛病就是东西太多，要么全接受要么全不要
spring的好处就在于它每一个component，都是可以独立存在的
你要用ejb，它会塞给你一堆东西，什么jpa，jca都在里面
但是你要用spring，自己写个main，就能跑了
当年我搞spring也就花了五分钟，写了个main函数，把beans.xml读到
然后就能用了，很简单，struts麻烦点，hibernate最麻烦
因为hibernate要配置transaction manager，不配还不行
所以cassandra这种nosql以后会逐步替换掉传统db的大部分市场
剩下不得不用transaction，比如交易，用户密码这些数据
才会放到db中去，看newsql能不能搞掂db
但是象什么log，聊天记录，用户喜好等等，都丢给nosql去存 |
|
c******o
发帖数: 1277 | 28 nosql 不一样，mysql/postgresql都是很传统的sql server.
你要是想要sql又是现代一些的，试试newsql (比如memsql, NuoDB, SQLFire, VoltDB
啥的） |
|
z****e
发帖数: 54598 | 29 nosql问题还多多，还处于发展阶段，newsql说的是分布式db
我觉得nosql现在还发展不到transaction和脚本就能用的地步
还有一段距离要走，比如rdd这种类似以前db的cache
spark才刚开始做 |
|
z*******3
发帖数: 13709 | 30 如果是这个方向的话，nosql和newsql的方向可以搞一搞
看看transaction怎么实现的，像老魏那种连transaction都不搞的笑话就不会出现了
不过我感觉搞这个的很多阿三，hadoop和那个啥cloudera什么都是三锅在搞
不像ml，数学用得多的，老中比阿三多
当然有可能仅仅是我这边这样 |
|
b*******s
发帖数: 5216 | 31 那不就结了，问题所在，老的数据库技术不适宜需求了，NoSQL和newsql不都是来处理
这个烂摊子的 |
|
b*******s
发帖数: 5216 | 32 scale out issue will be resolved soon. Newsql will provide sufficient
distributed features with full transcation support.
and to my opnion, the most difficult part of netflix was done by aws. |
|
g*****g
发帖数: 34805 | 33 LOL，you know what's wrong with you? You know next to nothing and you
believe everything you don't know is simple. You are an awful C++ programmer
so you believe FP will save you. You don't know what DB transaction is but
you believe NewSQL will save you all scaling troubles. If most difficult
part of Netflix has done by AWS, I wonder why Amazon prime does't even have
1/10 of Netflix's traffic with 10 times capital? |
|
s*****1
发帖数: 15 | 34 BASE tastes bitter, add ACID |
|
|
s*****1
发帖数: 15 | 36 Apple just bought FoundationDB |
|
k****i
发帖数: 101 | 37 Consistency, Availability, Partition-tolerance
RDBMS: favor C over A or P => CP, (CA unlikely if network unreliable)
NoSql: favor P over A or C => AP, (CP sub-optimal w/o normalized join)
NewSql: RDBMS 2.0
Mongo: NoSql-CP |
|
x******m
发帖数: 736 | 38 老土啊 你不行啊 看了你的网站 教的东西都过时了 现在都搞NoSQL newsql Hadoop
hive pig，你还在教MySQL。
future. |
|
o**a
发帖数: 1315 | 39 这个貌似很新，还在brainstorming阶段，I vote for 'JDB'。 |
|
z****e
发帖数: 54598 | 40 是的，据说传统db有80％＋都在做一些无用的东西
什么write ahead logging这种
真正干活的时间只有15％不到
现在重新设计架构，制造出更为健壮的ac系统 |
|
|
