g*****g
发帖数: 34805 | 1 You need to configure GC a little bit, allocate more memory
to tenured generation and make the GC algorithm less aggressive
should help. |
|
w*******s
发帖数: 940 | 2 Spring MVC is basic
Spring security
Lucene/Solr
cache, ehcache, memcached....
can be desired |
|
z***e
发帖数: 5393 | 3 06之前我用Java很多，那时候主要还是针对网页和database.
现在又开始用，发现应用面变化很大,针对分布系统的应用变成重点如handoop/
memcache/nodal等等, 这也不光局
限于java.
当然，归根到底看你公司做什么。 |
|
z*******3
发帖数: 13709 | 4 不知道国内的铁道售票有没有联程这个概念
如果中间涉及到转机之类的跨不同数据库的操作
那么涉及到多个数据库之间的transaction就很爽了
而且这种东西是不能随随便便错的
所以我看最好的方法可能是上ibm的mainframe
其实世界上大部分民航的售票系统最back end用的就是mainframe
你们ibm在这一块市场份额其实大大地
很多专业的公司就专门养着这么一批ibm的人做service
公司不倒，ibm这批人不裁
相比之下web公司就容易很多，transaction需要的地方少之又少
大部分request无非就是处理掉拉倒
所以越是大的网站，用apache http server的就越多
tomcat比起来都显得太过于重量了
所以java在这种大并发的web要求面前也没有什么优势
这是我放狗搜出来的
可以看到，用java做web的屈指可数几个
我看到的无非三个，ebay，alibaba和linkedin
其中阿里巴巴用的是jboss，ebay用tomcat可以理解
当年ebay搞起来的时候，jboss都还不知道在哪里呢
至于linkedin，阿三对于java的热爱不是盖的
... 阅读全帖 |
|
b***i
发帖数: 3043 | 5 根据goodbug所说，现在看来google app engine真不错，不仅不用考虑linux, apache,
jboss/tomcat，甚至连JDO都自带（不知道我理解对不对）。而且还有memCache。
我现在直接在servlet里面根据上传的信息生成文件对象，设置好property，然后存到
DataStore里面。存的时候就一句datastore.put(myEntity);
不知道我这样有什么不好？以前那样分层为什么要用bean, reflection等spring, 或者
ejb的实现方案把存对象这件事情复杂化呢？我感觉这种封装技术有点象电子元件，最
后用xml这种东西把输入输出连接起来，不知道我理解对不对。那是不是未来java可以
图形化编程？象LabView那样？Zhaoce的例子不错，但是我还不完全理解，能不能再具
体到某一个任务上，什么样的任务需要象spring/ejb那样做？假设我使用google app
engine, 不用自己的JDO，不用调试hibernate，GAE自带了DataStore。 |
|
b***i
发帖数: 3043 | 6 完成了网页servlet的初步设计，现在调入一个网页，从servlet进入到网页render完成
，共3秒多。其中包括2个mp3, 3个jpg/png图片，一些javascript文件，一些文字，共
695KB。这个时间有点多，基本是从datastore/memcache里面读文件内容然后返回。下
面准备从blob直接返回看是否会快。 |
|
|
w**z
发帖数: 8232 | 8 we are using cassandra as well, but not all. for my SQL, memcache is still
needed. Nerflix open sourced a lot of stuff which is great.
we should have chosen Astyanax instead of Hector. |
|
|
w**z
发帖数: 8232 | 10 we are using cassandra as well, but not all. for my SQL, memcache is still
needed. Nerflix open sourced a lot of stuff which is great.
we should have chosen Astyanax instead of Hector. |
|
b***i
发帖数: 3043 | 11 裸写servlet有优势，datastore/memCache是集成的，不用“配置”，管理，直接用api
存储。没有linux层的管理，没有apache/jboss/tomcat等的管理。自动scale。小量使
用的可以免费，所以适合调试。我已经调试了2年了，没花钱。
这样的话，就需要知道play做动态网页是怎么读写数据库的了。 |
|
w**z
发帖数: 8232 | 12 我们写service 就直接jdbc with connection pooling . 再加个memcache . Spring
就是用来DI . |
|
r*******k
发帖数: 44 | 13 I heard from a conference keynote speak given by a fb engineer that facebook
is not using cassandra for ANY of their product. all about mysql, memcache
and hbase now.
twitter used to try out cassandra in 2010, but failed (just like digg). now
they're using redis + mysql for their tweets, and investigating hbase now (
told by their engineering director) |
|
p*****2
发帖数: 21240 | 14
facebook
memcache
now
多谢大牛。 |
|
|
z***s
发帖数: 3241 | 16 我也搞了几年JAVA了，由于一向懒惰，没有成为大牛，只是一普通程序猿，不爱玩社交
网站，不爱玩微博，唯独喜欢百度贴吧，潜水很久了，手痒来给新人分享下从新手成长
为老鸟的已见，也刷刷存在感，应该不比曝照差吧。
首先初识语法的阶段，必须要学会怎么操作对象，操作if和for，操作list set map，
然后是线程、IO和jdbc什么的，其余的，若是一时不理解，可以后边需要时再学。
这阶段完了，你可以写些能在控制台打印出来的小程序，锻炼下逻辑思维。也就是号称
JAVASE毕业了，其实不过是入门而已，如果要往WEB方向发展，这些倒是基本足够了。
接下来要学HTML JSP SERVLET 数据库 JAVASCRIPT TOMCAT，目标，写出第一个动态网
站，也许只是个登陆功能，只能展示下个人资料，但这是很重要的一步，你要弄清楚的
是，一个用户的点击产生的请求，是从哪里发起，哪里接收，哪里处理，哪里返回，你
得理解浏览器和服务器的关系和分工，cookie和session，request和response。这个是
个WEB开发的学习初级阶段，这都是些JAVA诞生以来最原始的最官方的WEB开发技... 阅读全帖 |
|
t******s
发帖数: 1 | 17 我是穿越了吗？
[ebuild R ] www-servers/nginx-1.1.4 USE="http http-cache ipv6 pcre ssl
-aio -debug -libatomic -vim-syntax" NGINX_MODULES_HTTP="access auth_basic
autoindex browser charset empty_gif fastcgi geo gzip limit_req limit_zone
map memcached proxy referer rewrite scgi split_clients ssi upstream_ip_hash
userid uwsgi -addition -cache_purge -dav -degradation -flv -geoip -gzip_
static -headers_more -image_filter -mp4 -passenger -perl -push -random_index
-realip -secure_link -slowfs_cache -stub_... 阅读全帖 |
|
h***i
发帖数: 1970 | 18 其实都差不多，什么语言都要学习一些库，C++需要了解的库也不少，大家彼此彼此，
主要取决于你的应用。很多库都是支持多种语言的。比如，用remote memory作cache，
用memcached，object serialization,用Google protocol buffer或thrift，RPC用
Corba，Ice或Restful webservice，就是JMS，也可以用Stomp支持多种语言。C++的确
有起弱点，比如说reflective支持不行，导致无法用independency injection，数据库
访问的标准也几乎没有，但大多数库都基本上大家都有，各种语言互相抄，你有log4j
，我有log4cplus，没什么区别。我们公司语言用的比较杂，基本啥语言适合就用啥语
言，像Perl, Python, C++, Java, Scala都用。 |
|
E***X
发帖数: 885 | 19 I am posting the jobs for one of the best recruiters I have worked with.
Please contact Kathleen directly as following:
Kathleen Mitchell
Executive Recruiter
f******************[email protected]
Contact : 201 468 0519
High Frequency Connectivity Developer
The Quantitative Prime Services team is part of the Equities Technology
organization at Barclays Capital.
This team is responsible for the development and maintenance of a low
latency trading platform that
caters to clients engaged in high-frequency ... 阅读全帖 |
|
p*********t
发帖数: 2690 | 20 mySQL不是被oracle买了吗,也不知道哪天会不会消失掉. |
|
z***e
发帖数: 5393 | 21 你也太过拥护java了，不管第三方怎么怎么，从语言本身来说，C#就是比Java好用。楼
主那段话就是只针对language本身而已。另外就算java，我发现慢慢地很多功能也在被
很多其它的取代。以前说到backend似乎都要依赖java做点什么什么，现在python/node
/memcached等语言和工具也取代了很多以前java在backend的工作。
C#
projects,
different. |
|
C****n
发帖数: 2324 | 22 好一个小网站诸如EBAY, AMAZON
吗？ |
|
p*********t
发帖数: 2690 | 23 这些cache是不是都用hashmap,bitmap,trie树之类的做暂存？ |
|
g*****g
发帖数: 34805 | 24 ehCache是个local cache，跟memcached比，是java实现的，可以在JVM内跑。可以定义
eviction policy，可以定义大小从而控制内存使用。ehCache也可以做成分布式的，但
GAE估计不支持。 |
|
b***i
发帖数: 3043 | 25 还真得dB。不然，server死机了怎么办？另一个说法，就是要永久化，比如hibernate(
不知道我提这个相关不？）
我自然想到google app engine显然自动就有datastore, memCache，都可以干这个用，
不光死机，万一server起了另一个servlet的实例怎么办？两个不在一个pc，只能通过
datastore来同步。
数据库可以放在另一个服务器上，不一定非得大的，能写磁盘的就行。 |
|
b***i
发帖数: 3043 | 26 可能我的数据太简单了，我还没有看到所谓的关系数据在哪里，所以，GAE最适合这种
了，它的存储叫datastore。另外，同样的数据可以暂时存在memCache里面，访问更快。
datastore的存储可以index，可以不index,可以存对象，而不是简单的字符串或数，直
接用java api操作。我现在做一个文件发布系统，正合适。 |
|
g*****g
发帖数: 34805 | 27 先说说你的所谓难点。说之前我先澄清一个概念。大部分互联网购物网站，是用户下单
，商品计数更新，连到银行收钱，返回成功这个整个做成一个transaction的。不相信
的可以试试无效的信用卡号，大部分网站不是跟你说下单成功，然后回头发邮件说钱刷
不出来，而是当场就返回错误跟你说支付失败让你改。这种做法可以获得最好的体验。
但对数据库压力比较大，这是我所谓的在线订单。而异步验证的，下单不能当场给你确
定结果的，是所谓的离线订单。
关于分库我提到了几点，一个是按线路分，线路本身就是单向的，来回有车次之分一个
是单数一个是偶数，另一个是按始发日期分。对于不同线路不同日期，从service
layer到数据库，都是完全分离的。互相之间没有瓶颈。而搜索是前端发起的请求，比
如你要查询北京到上海的所有线路，这些都是可以静态索引好的。加上是离线订单，交
易并不需要跨越数据库来做。如何做我后面会讲到，但很明显我的架构完全满足任何两
点任何方向的需求。
这个是关键，但关键不是像你放在一个数据库里。而是读写分离加分库。经过我上面的
分库，一个库其实就只有一个线路一天几千个座位，一条线路算20个段，撑死10... 阅读全帖 |
|
w********m
发帖数: 1137 | 28 看了，谢谢大牛推荐
1. Oracle的数据库是价值核心，除了早期的MySQL, 一直都没换过。从PHP换到java
，主要是因为oracle跟java配合的好。怪不得oracle现在还混得不错。
2. 淘宝主要的优点是CDN分流和Memcached的命中率做的好
3. 淘宝的美女工程师真多啊
4. 淘宝的码工生物出身的真多啊 |
|
g*****g
发帖数: 34805 | 29 mongoDB 最重要的是好学，从rdbms来的很容易理解。Cassandra不容易掌握也不容易使
用，但在追求scalability的地方很强大。hbase则是hadoop的最佳选择。Redis/
Memcache则是 cache的主要选择。Solr跟Elastic search是search的主要选择。其他还
有一些专用的如neo4j。这些以外的NoSQL DB，我个人不看好。 |
|
P********l
发帖数: 452 | 30 二爷只知其一，不知其二。GAE是platform as a service的代表。抛开Google的这个特
殊环境platform,GAE什么也不是。文中介绍了GAE的种种问题。比如，memcached. 这玩
意在GAE里是必须的。为啥？因为GAE里读和写datastore很慢并且都是要钱的。再比如
，在数据管理的时候,很容易需要长时间操作。GAE不允许长时间操作。为啥？因为多用
户的环境下还要保证快的响应速度GAE对长时间操作加以限制。以前还有每个
instance1000个文件的限制呢！你拿这个和nodejs比，合适吗？别跟我说文章是这么比
的。你再念念人家文章的题目 ,是怎么写的。再念念文章的第一句。
最后，把nodejs换成其它的东西在 AWS 上跑 ,一样会成功。nodejs是锦上添花而已。
你的比platform'/infrastructure的说法让我风中凌乱了。 |
|
k***l
发帖数: 43 | 31 天天讨论 node, python, ror, oop, fp...
童靴们了解：node.js 有多少工作机会吗，还没有 wordpress developer 临头，以后
也不会有。
怎么可以忽视：最流行的CMS，最流行open source eCommerce frameworks，
这些都是PHP，
wordpress, drupal, joomla, majento....
high traffic websites: whitehouse, 最主要的大学，出版社，媒体， 非盈利 政府
网页，都是将是 PHP， drupal, wordpress...
这些website, 都用到了：solr, varnish, memcached, .....
感觉这里搞WEB的童靴都在装比。 |
|
d*******r
发帖数: 3299 | 32 ""
high traffic websites: whitehouse, 最主要的大学，出版社，媒体， 非盈利 政府
网页，都是将是 PHP， drupal, wordpress...
这些website, 都用到了：solr, varnish, memcached, .....
""
楼主分明是 PHP 系的高端黑，大家不要上当了... hehe |
|
g*****g
发帖数: 34805 | 33 Sure, user roles typically gets loaded in session and stay there for entire
session. You could also use memcache or redis to cache user session. |
|
g*********e
发帖数: 14401 | 34 12306首秀被骂的狗血喷头后铁道部找来IBM、阿里巴巴等大企业要解决方案，给出的条
件是资金管够但是问题得解决。几大企业最后都拒绝了（其中阿里巴巴最后负责了排队
系统的建设）。12306开始自己尝试解决问题。他们发现市面上可以买到的成套解决方
案都不足以应付春运购票负载，所以只能自己改进已有的数据库（注：其实是改用
VMware SQLFire/GemFire，这里我之前理解错误）。以前12306用的是小型机，发现性
能严重不足，遂改用x86系统+linux平台（原平台为HP Superdome小型机，UNIX系统，
Sybase ASE数据库）。最后他们的核心系统用了十几个节点（现在应该是17节点）的多
路Xeon E7（具体几路待考），每个节点配1TB内存，数据库全部在内存中运行。2013年
春运，12306系统峰值负载11万tps，与2012年淘宝双11活动峰值负载相当，新的系统基
本经受住了考验。
补充：以上内容是我在2013年7月得知的信息，彼时没有任何公开来源提到过12306新系
统的技术细节。甚至，当时局外人没人知道12306已经在2012年开始做了技术改造。直
到数日... 阅读全帖 |
|
h*d
发帖数: 19309 | 35
http://www.zhihu.com/question/22451397/answer/21426532
12306首秀被骂的狗血喷头后铁道部找来IBM、阿里巴巴等大企业要解决方案，给出的条
件是资金管够但是问题得解决。几大企业最后都拒绝了（其中阿里巴巴最后负责了排队
系统的建设）。12306开始自己尝试解决问题。他们发现市面上可以买到的成套解决方
案都不足以应付春运购票负载，所以只能自己改进已有的数据库（注：其实是改用
VMware SQLFire/GemFire，这里我之前理解错误）。以前12306用的是小型机，发现性
能严重不足，遂改用x86系统+linux平台（原平台为HP Superdome小型机，UNIX系统，
Sybase ASE数据库）。最后他们的核心系统用了十几个节点（现在应该是17节点）的多
路Xeon E7（具体几路待考），每个节点配1TB内存，数据库全部在内存中运行。2013年
春运，12306系统峰值负载11万tps，与2012年淘宝双11活动峰值负载相当，新的系统基
本经受住了考验。
补充：以上内容是我在2013年7月得知的信息，彼时没有任何公开来源提... 阅读全帖 |
|
g*****g
发帖数: 34805 | 36 这是哪个应用呀，谁知道吗？
Our client is a leading technology on line company with the #1 app and top
10 grossing app overall in the Apple Store and is one of the top market
leaders in there industry. Available in 80 countries, translated into 25
languages, and available n 55 currencies. Our Platform Services team builds
the foundations that support everything that at are client does. We build
and maintain large-scale data storage and processing systems using some
technologies like SQL, Memcached, Cassandra,... 阅读全帖 |
|
c***d
发帖数: 996 | 37 这点有点象电池， 也是不服从摩尔定律，但是严重影响architecture design的。 从
memcached, redis, 到big table, hdfs, 都是因为硬盘的物理极限。 |
|
|
l*******m
发帖数: 1096 | 39 memcache works better for json objects.
redis for all others |
|
|
g*****g
发帖数: 34805 | 41 你到底需要那些特性？只是cache的话memcached, 相似的还有Riak. |
|
v***e
发帖数: 2108 | 42 couchbase = cluster + memcached + couchdb + xdcr
used by many enterprise customers, this is exactly what you want |
|
v***e
发帖数: 2108 | 43 正派产品就一个，Couchbase Server，我们一直用
scalability比mongo好太多，还有mongo没有的
cross-datacenter replication（XDCR）和UI
get/set performance比cassandra强，因为是围绕
memcached 写的。
这些应该都是paid customer吧，不想花钱就用community
version好了，功能和enterprise version一样
当然，具体还要看你的需要 |
|
z****e
发帖数: 54598 | 44 no
couchbase是商用产品
couchdb是apache的开源产品
别搞错了
couchbase类似couchdb+redis这样
他们自己有一个memcache的东西
所以如果搂主只是mongodb不顶用
换成couchdb可能就可以了 |
|
v***e
发帖数: 2108 | 45 正以为楼主需要的是redis+mongo之类的，所以couchdb
根本不是楼主需要的，而couchbase才是
couchdb是distributed datastore，全Erlang，不能提供楼主要求
的high performance caching 和 in-memory operation,
Couchbase 是memcached (caching) + Couchdb （只用在persisted db layer)
+ cluster + XDCR
Couchdb在商业上并不成功，只有Cloudant之类的还在围绕it开发，而Couchbase
是和Mongo，Cassandra一起的NoSQL DB market 三驾马车
楼主原帖 “最近在研究 memory database，做 queuing， cache 和 简单查询。
Redis 看着真心不错，还支持 transaction, 丫的就是 cluster 模式还没搞出来。” |
|
d*******r
发帖数: 3299 | 46 据用过的业内人士说
couchbase==couchdb+memcached+other |
|
g*****g
发帖数: 34805 | 47 If you are doing time series, we use Cassandra, for cache, couchbase is the
closest one for cluster memcache, though we use evcache. |
|
d*******r
发帖数: 3299 | 48 有专门讲 message server performance 的资料吗, 书，网站，blog，系统点那种。
我想知道主要怎样系统地 measure 一个 message server, 比如有哪些主要测试工具 (
jmeter, tsung 等等，他们的优劣), 主要需要测试好哪些 measurements (e.g.
messages/sec, connections/sec, kbits/sec ...)
message 可以是自定义的。 e.g. JSON over TCP, 甚至 UDP
也可以是 HTTP messages。其实一直没有定量研究和测试过 HTTP 跟 自定义的 简单
message 包比较起来，到底有多 heavy, 延迟高多少，处理能力要额外耗费多少。
琢磨着 build 这样一个 server，收发大量的 messages. 不是只针对 server hosts
端内网的，也便于从公网上收发 messages. 比如就当 HTTP server 或者 gaming
protocol server 用。
可以有 cluster 模式，可以堆机器 scale... 阅读全帖 |
|
g*****g
发帖数: 34805 | 49 What's important for me was to do local caching on the user session, and
the restore can be possible without reading DB and reconstruction. If the
users will be
redistributed, a separate caching server like memcache can be used. |
|
