t*******e
发帖数: 684 | 1 这么大的交易量，巨大的数据，又要实时，真不知道是怎么实现的。
只查到用mongodb做实时数据分析。也用mysql做数据备份。
Partition relational database? not a fault-tolerant solution... |
z*******3
发帖数: 13709 | 2 我有个同学在里面
他们就是用最普通的jvm，到不了real time的地步
你说他们实时有些想多了，普通的网店，没有必要实时
迟那么零点几秒没啥事 |
t*******e
发帖数: 684 | 3 用Terracotta? front end很容易scale out。bottleneck肯定在database。
那么大的系统用一个relational database是不可想象的。即便用到sharding，维护和
扩展也会是非常痛苦的。如果把数据库按domain分开，就要有global transaction.
还有就是抢拍时候，用pessimistic locking还是optimistic locking。假设是
optimistic，failure的rate那么高，retry就把database搞死了。估计用的
pessimistic lock。
【在 z*******3 的大作中提到】
: 我有个同学在里面
: 他们就是用最普通的jvm，到不了real time的地步
: 你说他们实时有些想多了，普通的网店，没有必要实时
: 迟那么零点几秒没啥事
|
g*****g
发帖数: 34805 | |
t***a
发帖数: 416 | 5 就是这个，这和我几年前听过他们的一个讲座说的一样
其实没啥花头
【在 g*****g 的大作中提到】
: http://www.slideshare.net/zhaolinjnu/ss-6158020
|
g*****g
发帖数: 34805 | 6 Nothing is simple with scale.
【在 t***a 的大作中提到】
: 就是这个，这和我几年前听过他们的一个讲座说的一样
: 其实没啥花头
|
t***a
发帖数: 416 | 7 您老说的没错，淘宝这些年也是熬出来了，积累的东西不可小觑
【在 g*****g 的大作中提到】
: Nothing is simple with scale.
|
t*******e
发帖数: 684 | 8 真不错。基本是relational database为核心的架构。最重要的一步是读写数据分开。
只读的放入mysql cluster。这也是为什么我们看到有些数据的更新不是实时的。交易
系统是写的部分，数据库有horizontal和vertical partitions。为提高performance，
减少join，牺牲很多SQL的功能，尽量多用memeory，使得很多sql queries在缓存中执
行。
缺点是维护和扩展不能自动完成，成本很高。
读，写部分如果都用NoSQL，那种会比较合适? 这样的问题真需要个全新的版面来讨论。
【在 g*****g 的大作中提到】
: http://www.slideshare.net/zhaolinjnu/ss-6158020
|
n******1
发帖数: 3756 | |
x****d
发帖数: 1766 | 10 taobao wont survive in any free market environment outside china. so it is
not big deal what they have or how they do it, irrelevant, period.
|
|
|
c*****y
发帖数: 562 | |
p*****2
发帖数: 21240 | 12 Partition relational database一般怎么来做？ |
t*******e
发帖数: 684 | 13 Thanks for sharing the useful resources. I was questioning myself how to
deal with the challenges without knowing the solutions from Taobao, or do I
have alternatives. This kind of practice helps us grow toward being more
experienced and knowledgeable.
【在 c*****y 的大作中提到】
: http://www.infoq.com/cn/presentations/cwc-web-request-asynchron
: http://www.infoq.com/cn/search.action?queryString=%E6%B7%98%E5%
|
W***o
发帖数: 6519 | 14 I've seen that Taobao uses Storm to do realtime analytics.
【在 t*******e 的大作中提到】
: 这么大的交易量，巨大的数据，又要实时，真不知道是怎么实现的。
: 只查到用mongodb做实时数据分析。也用mysql做数据备份。
: Partition relational database? not a fault-tolerant solution...
|
c*********e
发帖数: 16335 | 15 taobao就是个典型的lamp构架，中间换成oracle,发现不行，又换回分布式mysql.
lamp現在是烂大街了，小公司很多都用它。
【在 x****d 的大作中提到】
: taobao wont survive in any free market environment outside china. so it is
: not big deal what they have or how they do it, irrelevant, period.
:
|
W***o
发帖数: 6519 | 16 大公司用啥服务器和数据库？
【在 c*********e 的大作中提到】
: taobao就是个典型的lamp构架，中间换成oracle,发现不行，又换回分布式mysql.
: lamp現在是烂大街了，小公司很多都用它。
|
z****e
发帖数: 54598 | 17 我今天看了storm的网页
貌似在用storm |
z****e
发帖数: 54598 | 18 http://nathanmarz.com/blog/how-to-beat-the-cap-theorem.html
最重要的一步是把crud里面的ud去掉，然后建立视图，最后用storm和cassandra来做实
时统计
论。
【在 t*******e 的大作中提到】
: 真不错。基本是relational database为核心的架构。最重要的一步是读写数据分开。
: 只读的放入mysql cluster。这也是为什么我们看到有些数据的更新不是实时的。交易
: 系统是写的部分，数据库有horizontal和vertical partitions。为提高performance，
: 减少join，牺牲很多SQL的功能，尽量多用memeory，使得很多sql queries在缓存中执
: 行。
: 缺点是维护和扩展不能自动完成，成本很高。
: 读，写部分如果都用NoSQL，那种会比较合适? 这样的问题真需要个全新的版面来讨论。
|
z****e
发帖数: 54598 | 19 什么都用，用什么的都有
【在 W***o 的大作中提到】
: 大公司用啥服务器和数据库？
|
t*******e
发帖数: 684 | 20 淘宝是什么都用, mysql cluster, CDN, 自己研发的NewSQL-OceanBase, 数据分析用
Hadoop, storm等等。 能达到目前的high availability也是相当不容易了。 |
|
|
z*******3
发帖数: 13709 | 21 mysql只要oracle动个指头，它们就有大麻烦
聪明的就赶紧转到mariadb上去
【在 t*******e 的大作中提到】
: 淘宝是什么都用, mysql cluster, CDN, 自己研发的NewSQL-OceanBase, 数据分析用
: Hadoop, storm等等。 能达到目前的high availability也是相当不容易了。
|
T*********g
发帖数: 496 | 22 扯淡。oracle一开始是淘宝最重要的数据库。你看看他们有多少oracleace。后来去
oracle化才移到mysql上.
【在 c*********e 的大作中提到】
: taobao就是个典型的lamp构架，中间换成oracle,发现不行，又换回分布式mysql.
: lamp現在是烂大街了，小公司很多都用它。
|
T*********g
发帖数: 496 | 23 淘宝有自己修改mysql的能力，参见前淘宝员工何登成的技术博客
【在 z*******3 的大作中提到】
: mysql只要oracle动个指头，它们就有大麻烦
: 聪明的就赶紧转到mariadb上去
|
z****e
发帖数: 54598 | 24 感觉淘宝在技术上总是选错路
最早淘宝让m$去做基建，华丽滴挂了
后来又弄了oracle db，算是比较成功
但是又选了mysql，真是没眼光啊
马云的挨踢参谋长应该拉出去tjjtds
【在 T*********g 的大作中提到】
: 淘宝有自己修改mysql的能力，参见前淘宝员工何登成的技术博客
|
t*******e
发帖数: 684 | 25 这么大的交易量，巨大的数据，又要实时，真不知道是怎么实现的。
只查到用mongodb做实时数据分析。也用mysql做数据备份。
Partition relational database? not a fault-tolerant solution... |
z*******3
发帖数: 13709 | 26 我有个同学在里面
他们就是用最普通的jvm，到不了real time的地步
你说他们实时有些想多了，普通的网店，没有必要实时
迟那么零点几秒没啥事 |
t*******e
发帖数: 684 | 27 用Terracotta? front end很容易scale out。bottleneck肯定在database。
那么大的系统用一个relational database是不可想象的。即便用到sharding，维护和
扩展也会是非常痛苦的。如果把数据库按domain分开，就要有global transaction.
还有就是抢拍时候，用pessimistic locking还是optimistic locking。假设是
optimistic，failure的rate那么高，retry就把database搞死了。估计用的
pessimistic lock。
【在 z*******3 的大作中提到】
: 我有个同学在里面
: 他们就是用最普通的jvm，到不了real time的地步
: 你说他们实时有些想多了，普通的网店，没有必要实时
: 迟那么零点几秒没啥事
|
g*****g
发帖数: 34805 | |
t***a
发帖数: 416 | 29 就是这个，这和我几年前听过他们的一个讲座说的一样
其实没啥花头
【在 g*****g 的大作中提到】
: http://www.slideshare.net/zhaolinjnu/ss-6158020
|
g*****g
发帖数: 34805 | 30 Nothing is simple with scale.
【在 t***a 的大作中提到】
: 就是这个，这和我几年前听过他们的一个讲座说的一样
: 其实没啥花头
|
|
|
t***a
发帖数: 416 | 31 您老说的没错，淘宝这些年也是熬出来了，积累的东西不可小觑
【在 g*****g 的大作中提到】
: Nothing is simple with scale.
|
t*******e
发帖数: 684 | 32 真不错。基本是relational database为核心的架构。最重要的一步是读写数据分开。
只读的放入mysql cluster。这也是为什么我们看到有些数据的更新不是实时的。交易
系统是写的部分，数据库有horizontal和vertical partitions。为提高performance，
减少join，牺牲很多SQL的功能，尽量多用memeory，使得很多sql queries在缓存中执
行。
缺点是维护和扩展不能自动完成，成本很高。
读，写部分如果都用NoSQL，那种会比较合适? 这样的问题真需要个全新的版面来讨论。
【在 g*****g 的大作中提到】
: http://www.slideshare.net/zhaolinjnu/ss-6158020
|
n******1
发帖数: 3756 | |
x****d
发帖数: 1766 | 34 taobao wont survive in any free market environment outside china. so it is
not big deal what they have or how they do it, irrelevant, period.
|
c*****y
发帖数: 562 | |
p*****2
发帖数: 21240 | 36 Partition relational database一般怎么来做？ |
t*******e
发帖数: 684 | 37 Thanks for sharing the useful resources. I was questioning myself how to
deal with the challenges without knowing the solutions from Taobao, or do I
have alternatives. This kind of practice helps us grow toward being more
experienced and knowledgeable.
【在 c*****y 的大作中提到】
: http://www.infoq.com/cn/presentations/cwc-web-request-asynchron
: http://www.infoq.com/cn/search.action?queryString=%E6%B7%98%E5%
|
W***o
发帖数: 6519 | 38 I've seen that Taobao uses Storm to do realtime analytics.
【在 t*******e 的大作中提到】
: 这么大的交易量，巨大的数据，又要实时，真不知道是怎么实现的。
: 只查到用mongodb做实时数据分析。也用mysql做数据备份。
: Partition relational database? not a fault-tolerant solution...
|
c*********e
发帖数: 16335 | 39 taobao就是个典型的lamp构架，中间换成oracle,发现不行，又换回分布式mysql.
lamp現在是烂大街了，小公司很多都用它。
【在 x****d 的大作中提到】
: taobao wont survive in any free market environment outside china. so it is
: not big deal what they have or how they do it, irrelevant, period.
:
|
W***o
发帖数: 6519 | 40 大公司用啥服务器和数据库？
【在 c*********e 的大作中提到】
: taobao就是个典型的lamp构架，中间换成oracle,发现不行，又换回分布式mysql.
: lamp現在是烂大街了，小公司很多都用它。
|
|
|
z****e
发帖数: 54598 | 41 我今天看了storm的网页
貌似在用storm |
z****e
发帖数: 54598 | 42 http://nathanmarz.com/blog/how-to-beat-the-cap-theorem.html
最重要的一步是把crud里面的ud去掉，然后建立视图，最后用storm和cassandra来做实
时统计
论。
【在 t*******e 的大作中提到】
: 真不错。基本是relational database为核心的架构。最重要的一步是读写数据分开。
: 只读的放入mysql cluster。这也是为什么我们看到有些数据的更新不是实时的。交易
: 系统是写的部分，数据库有horizontal和vertical partitions。为提高performance，
: 减少join，牺牲很多SQL的功能，尽量多用memeory，使得很多sql queries在缓存中执
: 行。
: 缺点是维护和扩展不能自动完成，成本很高。
: 读，写部分如果都用NoSQL，那种会比较合适? 这样的问题真需要个全新的版面来讨论。
|
z****e
发帖数: 54598 | 43 什么都用，用什么的都有
【在 W***o 的大作中提到】
: 大公司用啥服务器和数据库？
|
t*******e
发帖数: 684 | 44 淘宝是什么都用, mysql cluster, CDN, 自己研发的NewSQL-OceanBase, 数据分析用
Hadoop, storm等等。 能达到目前的high availability也是相当不容易了。 |
z*******3
发帖数: 13709 | 45 mysql只要oracle动个指头，它们就有大麻烦
聪明的就赶紧转到mariadb上去
【在 t*******e 的大作中提到】
: 淘宝是什么都用, mysql cluster, CDN, 自己研发的NewSQL-OceanBase, 数据分析用
: Hadoop, storm等等。 能达到目前的high availability也是相当不容易了。
|
T*********g
发帖数: 496 | 46 扯淡。oracle一开始是淘宝最重要的数据库。你看看他们有多少oracleace。后来去
oracle化才移到mysql上.
【在 c*********e 的大作中提到】
: taobao就是个典型的lamp构架，中间换成oracle,发现不行，又换回分布式mysql.
: lamp現在是烂大街了，小公司很多都用它。
|
T*********g
发帖数: 496 | 47 淘宝有自己修改mysql的能力，参见前淘宝员工何登成的技术博客
【在 z*******3 的大作中提到】
: mysql只要oracle动个指头，它们就有大麻烦
: 聪明的就赶紧转到mariadb上去
|
z****e
发帖数: 54598 | 48 感觉淘宝在技术上总是选错路
最早淘宝让m$去做基建，华丽滴挂了
后来又弄了oracle db，算是比较成功
但是又选了mysql，真是没眼光啊
马云的挨踢参谋长应该拉出去tjjtds
【在 T*********g 的大作中提到】
: 淘宝有自己修改mysql的能力，参见前淘宝员工何登成的技术博客
|
T*********g
发帖数: 496 | 49 我每次看你的回复都特别难受． 淘宝啥时候用过MS的架构？mysql咋就不行了？说说工
作中啥需求是mysql解决不了的？淘宝的霸爷不如你？
【在 z****e 的大作中提到】
: 感觉淘宝在技术上总是选错路
: 最早淘宝让m$去做基建，华丽滴挂了
: 后来又弄了oracle db，算是比较成功
: 但是又选了mysql，真是没眼光啊
: 马云的挨踢参谋长应该拉出去tjjtds
|
