f******5
发帖数: 229 | 1 不會是我
讀經: 詩篇30篇6-12節
「至於我，我凡事平順，便說：『我永不動搖。』」
（詩篇30篇6節）
全年讀經:
耶利米書30-31章 腓利門書
曾扮演《超人》的男影星克里斯多夫•李維在1995年因墜馬意外而癱瘓。在此悲
劇發生之前，他曾在一部電影中飾演一個半身不遂的角色。當時他為揣摩角色而造訪一
家復健中心，日後他回憶道：「每當離開復健中心時，我心裡總想：『感謝上帝，躺在
那裡的不是我。』」但自己發生意外後，李維卻對當時的想法深深懊悔：「我以為自己
和那些受苦的人們天差地遠，卻沒料到下一秒鐘，可能就換成我躺在那裡。」而悲哀的
是，這事的確降臨到了他身上。
有時我們也會看著他人遭難，而以為同樣的事情不可能發生在自己身上，特別是在自己
的人生已達到某種程度的成功之際──經濟穩定、家庭和諧。大衛王也承認自己曾在志
得意滿之際，掉進了陷阱，自以為穩如泰山：「至於我，我凡事平順，便說：『我永不
動搖』」（詩篇30篇6節）。但他很快就扭轉了想法，跳出過於自信的心境。他回憶起
自己從前遭遇患難時，上帝如何解救了他：「你已將我的哀哭變為跳舞」（11節）。
無論上帝給我們的是祝福還是... 阅读全帖 |
|
C****i
发帖数: 1776 | 2 高低起伏
讀經: 傳道書3章1-8節
哭有時，笑有時；哀慟有時，跳舞有時。—傳道書3章4節
全年讀經:
傳道書1-3章 哥林多後書11章16-33節
我們都同意生命總有高低起伏。滿有智慧的所羅門王也相信人生變幻無常，並細想人類
如何回應生命不同的光景。他在傳道書中寫道：「凡事都有定期，天下萬務都有定時??
哭有時，笑有時；哀慟有時，跳舞有時。」（3章1-4節）
所羅門的父親大衛，被稱為合上帝心意的人（撒母耳記上13章14節；使徒行傳13章22節
）。然而，大衛的生命卻正好刻劃出人生的高低起伏。他與拔示巴所生的頭生兒子病重
時，他哀慟哭泣（撒母耳記下12章22節）。但他也寫下充滿讚美、歡喜的詩歌（詩篇12
6篇1-3節）。大衛之子押沙龍即使謀篡王位，大衛仍因他的死，悲痛欲絕（撒母耳記下
18章33節）。當約櫃到達耶路撒冷時，大衛靈裡極為歡喜，就在上帝面前極力跳舞（撒
母耳記下6章12-15節）。
事實上，若我們給人的印象是基督徒的生命只有平安和快樂，這對我們自己和別人都沒
有益處。相反的，聖經描繪基督徒的生命，包含了各種高低起伏的時刻。現在你生命的
光景如何？不論是歡喜或是哀傷，都應激勵... 阅读全帖 |
|
Q*******e
发帖数: 57 | 3 2011-09-30
一千岁生日
读经: 阿摩司书4章7-13节
你当预备迎见你的上帝。 —阿摩司书4章12节
索取表格
全年读经: 以赛亚书9-10章 以弗所书3章
在《延续生命》(Long for This World)一书中，温纳（Jonathan Weiner）写到科学将
能大大延长人类的寿命。这书的重点在于英国科学家格里预测，将来有一天，科学能让
人类有长达1,000年的寿命。他宣称，分子生物学在治疗衰老的研究上有了突破。
不过，我们即便活到一千岁，最后还是会死，那么能活多久又有什么分别呢？格里的预
言，只是拖延我们面对人死后往何处去的问题，却没有给我们答案。
圣经告诉我们，死亡并不等于我们不再存在。相反的，我们可以肯定，每个人死后都要
到基督面前，基督徒要为他们的行为受审判，非基督徒则是为他们拒绝救恩受审判（约
翰福音5章25-29节；启示录20章11-15节）。我们都是罪人，都需要被宽恕。唯有基督为
我们死在十字架上，信祂的人才可罪得赦免（罗马书3章23节；6章23节）。圣经说：「
按着定命，人人都有一死，死后且有审判。」（希伯来书9章27节）
有一天我们都要面对上帝陈明... 阅读全帖 |
|
l***r
发帖数: 12 | 4 Hiring: Trading Strategies Developer (C++ Developer) - Akuna Capital –
Chicago
If you are interested in it, feel free contact Lucy by lucy.luo@akunacapital
.com
About Akuna:
Akuna Capital is a fast-growing derivatives trading firm located in downtown
Chicago that specializes in market-making and arbitrage. Founded in 2011,
Akuna has quickly expanded from a start-up to a successful leader on US
options exchanges and has already begun international expansion. We’ve
grown significantly from humble... 阅读全帖 |
|
l***r
发帖数: 12 | 5 Hiring: Gateway Developer (C++ Developer) - Akuna Capital – Chicago
If you are interested in it, feel free contact Lucy by lucy.luo@akunacapital
.com
About Akuna:
Akuna Capital is a fast-growing derivatives trading firm located in downtown
Chicago that specializes in market-making and arbitrage. Founded in 2011,
Akuna has quickly expanded from a start-up to a successful leader on US
options exchanges and has already begun international expansion. We’ve
grown significantly from humble but determ... 阅读全帖 |
|
l***r
发帖数: 12 | 6 Hiring: Trading Core Developer (C++ Developer) - Akuna Capital – Chicago
If you are interested in it, feel free contact Lucy by lucy.luo@akunacapital
.com
About Akuna:
Akuna Capital is a fast-growing derivatives trading firm located in downtown
Chicago that specializes in market-making and arbitrage. Founded in 2011,
Akuna has quickly expanded from a start-up to a successful leader on US
options exchanges and has already begun international expansion. We’ve
grown significantly from humble ... 阅读全帖 |
|
发帖数: 1 | 7 Hiring：C++ Developer - Akuna Capital- HFT Trading system development
Location: Chicago
Website: www.akunacapital.com
About Akuna:
Akuna Capital is a fast-growing derivatives trading firm located in downtown
Chicago that specializes in market-making and arbitrage. Founded in 2011,
Akuna has quickly expanded from a start-up to a successful leader on US
options exchanges and has already begun international expansion. We’ve
grown significantly from humble but determined beginnings and still proudly... 阅读全帖 |
|
y*d
发帖数: 2226 | 8 放你妈狗屁，10年前老子来美国读phd的时候，就是一帮人这么说
害得老子就一心想搞底层的，平台的，基础的。毕业以后混过的小公司也算是大型软
件平台做到行业第一了，最后低价卖给IBM。现在回头看，还不如当年学个java script
，php, node.js早几年去facebook，这会儿都退休了。
做开源的，hortonworks，cloudera穷得一屁。hdfs过去几年的开发上海intel是主力。
去年intel把这些人全裁了。现在去BAT找个运维的工作都不一定能找到
做操作系统数据库的，AT&T，IBM，SUN，HP，Oracle现在有哪个能给到狗家一半的工钱
上学的时候认识个拿图灵奖的教授，有个大公司给的chair教授的工资，算是赚钱多的
了。辛辛苦苦一辈子，不如早几年去股沟非死不可的小本。估计他那点家底，在北京都
买不起一套学区房 |
|
r*****l
发帖数: 2859 | 9 现在流行NoSQL。如果NoSQL还被认为是数据库的话。那么他们很可能用HDFS。 |
|
w***a
发帖数: 313 | 10 你讲的这个hadoop算是个广义统称，里边细节很多，有mapreduce, HDFS, Hive, PIG..
.
核心就是把一个job拆成n个task, 用多个便宜机子来运行，最后汇总输出结果。
针对的是海量（连续读取）数据，几个TB乃至PB级别的运算量。这个级别的东东用传统
关系型数据库要么无法处理，要么效率很差，而且成本极高。
这个不能也不是用来代替传统sql的，只是对某些特定需求（典型的比如log分析），
HADOOP是最理想解决方案。
随着企业数据累计，已经各种业务的增长，这些特定需求以后会越来越普及，也就是说
HADOOP会越来越广的被应用。有机会的话，学学这个很有用。beijing不妨弄个这个讲
座。
load |
|
s****n
发帖数: 150 | 11 好东西阿，尤其十 HDFS 强大的 I／O 能力。 |
|
l******t
发帖数: 660 | 12 【 以下文字转载自 JobHunting 讨论区 】
发信人: dongfeiwww (人人都是艺术家), 信区: JobHunting
标 题: hadoop面试和学习总结
发信站: BBS 未名空间站 (Thu Mar 1 04:05:10 2012, 美东)
随着大数据的盛行，Hadoop也流行起来。我面过很多hadoop相关的公司，包括一线公司
(hadoop就是公司主要产品)如cloudera, hortonworks, mapr, teradata, greenplum,
二线的（使用hadoop)：apple, expedia，comScore. 当然还有很多公司facebook,
twitter, baidu, 感觉这块还是机会挺多的，我就把我知道的一些给大家分享一下。
书籍和paper
: 里面内容非常好，既有高屋建瓴，又有微观把握，
比如mapreduce各个子阶段，经常问道join在里面也有代码实现，
google的三量马车，GFS, MapReduce, BigTable
入门：
知道MapRedu... 阅读全帖 |
|
|
k*z
发帖数: 4704 | 14 Today, everyone is talking about big data in all kinds of industries. Data
Storage and ETL Process have significantly changed compared to RDBMS. A
bunch of new and fancy words, such as Hadoop, MapReduce, HDFS, Hive and Pig;
run onto our traditional analysts’ heads, who may not understand the
meaning of those words and feel very frustrated and out-of-date.
Fortunately, the core of data analytics still remains the same. The
fundamental business, mathematics and statistics are not changed at all.... 阅读全帖 |
|
k****r
发帖数: 807 | 15 嗯，这样的说法和他们自己吹的就差不多了。
那所以说，无论他们连接什么样的数据库，都不会用别人的engine了？比如一些hadoop
based 的，就是用他们的HDFS里存的数据了？TDE是memory里面的数据形式，还是
materialize到disk上面的形式？还是both呢。
谢谢。 |
|
s******a
发帖数: 184 | 16 最关键的是公司已经投资了很多人力物力在SAP，SQL server 这些系统上,如果再要
求做一套备份在 HDFS 上,这个项目估计很难获得批准。 现在想法是新的数据全放到
Hadoop上， 但海量的旧数据不动， 只在需要的情况上调用。 但不知有没有可靠的架
构。 我觉得这对于很多传统的大公司都有这个问题。请教了。 |
|
z****e
发帖数: 54598 | 17
hadoop有价值的部分主要是hdfs
用vert.x之后，连这个都可以省掉其实
我直接用vert.x的file system，自己写replica这些，也没多难
要不是大学那边一定要用hadoop，因为他们买了cloudera的服务
不用浪费，所以说给我们用不收钱，我未必会主张用什么hadoop呢
data warehouse的hype居多
其实hadoop本身也是一个hype，大多数人只是觉得这个hot
就无脑上了，etl用一个scheduler就好了，如果非要streaming的话
用rxjava做一个稳定的连接，但是一般没有必要
vert.x的setPeriodic方法足以替代一般的scheduler |
|
s******a
发帖数: 184 | 18 谢谢你的回复。 项目大概的背景是这样， 有不同的数据源， 传统的会计数据， 一般
都在SAP里。 一些管理数据和市场销售数据分布在SQL 和SAP上。 现在很多生产过程中
产生的实时数据也会存下来， 这部分因为是新的所以肯定要放在 HADOOP ／SPARK系统
上。从供应链的角度，肯定希望有一个分析平台能够把所有这些数据都放在一起， 支
撑可能会需要的全局分析。 （确实有点象前面回帖中提到的先盖房子再去老婆）。现
在一个主要的问题就是是否需要把SAP和 SQL里的所有数据都物理性的存到HDFS上。 这
种物理性的彻底备份会使得SAP team 和 SQL team 觉得他们的工作受到威胁。 这个
转向 HADOOP／SPARK的proposal就很难通过。所以我们想找到一个message layer的设
计只把分析需要的data 实时传过来。 不知道这样的想法是不是合理。 |
|
r*******k
发帖数: 44 | 19 为什么要说“老”？我从首页点进的，没针对某个人，某个版。
我不需要，我本人是hadoop 相关项目的 committer。我管理业界最大的hadoop/hbase
deployment 之一。我基本认识所有重要的 hadoop 使用公司相关的人。参加 hadoop/
big data/open source conference and dev/user group 是我的工作职责。
没人真的这么用！最基本的问题，数据怎么传上去？最最基本的use case，web front
collect web log，stream to hdfs, run mapreduce, 需要hadoop always on。不要告
诉我有人每天攒几TB data, upload to aws, start ec2 instance, run mapreduce，
then shut them down。aws 很贵的，这种用法更费钱。可能有小的公司有这种策略，
但我说的是一定规模的公司，facebook, yahoo, ebay, twitter, salesforce, and a
lot ... (... 阅读全帖 |
|
r*******k
发帖数: 44 | 20 为什么要说“老”？我从首页点进的，没针对某个人，某个版。
我不需要，我本人是hadoop 相关项目的 committer。我管理业界最大的hadoop/hbase
deployment 之一。我基本认识所有重要的 hadoop 使用公司相关的人。参加 hadoop/
big data/open source conference and dev/user group 是我的工作职责。
没人真的这么用！最基本的问题，数据怎么传上去？最最基本的use case，web front
collect web log，stream to hdfs, run mapreduce, 需要hadoop always on。不要告
诉我有人每天攒几TB data, upload to aws, start ec2 instance, run mapreduce，
then shut them down。aws 很贵的，这种用法更费钱。可能有小的公司有这种策略，
但我说的是一定规模的公司，facebook, yahoo, ebay, twitter, salesforce, and a
lot ... (... 阅读全帖 |
|
S*******h
发帖数: 7021 | 21 之前有网友推荐这些. 我还没去仔细看过 你参考看看吧 有用的话上来吱一声
---------
发信人: dongfeiwww (人人都是艺术家), 信区: JobHunting
标 题: hadoop面试和学习总结
发信站: BBS 未名空间站 (Thu Mar 1 04:05:10 2012, 美东)
随著大数据的盛行，Hadoop也流行起来。我面过很多hadoop相关的公司，包括一线公司
(hadoop就是公司主要产品)如cloudera, hortonworks, mapr, teradata, greenplum,
二线的（使用hadoop)：apple, expedia，comScore. 当然还有很多公司facebook,
twitter, baidu, 感觉这块还是机会挺多的，我就把我知道的一些给大家分享一下。
书籍和paper
: 里面内容非常好，既有高屋建瓴，又有微观把握，
比如mapreduce各个子阶段，经常问道join在里面也有代码实现，
google的三量马车，GFS, MapReduce, B... 阅读全帖 |
|
t*******e
发帖数: 684 | 22 这个不是单一技术，至多满足非标准的，不是开源的两条。
核心部分替代也就是Hadoop及其派生的产品HDFS，HBase等。难学，不流行也不符合。
找活的角度，除了google,其他大公司几乎都是Hadoop。 |
|
|
t*******e
发帖数: 684 | 24 Brisk， Hadoop on CFS，不过不是apache搞的。Besides, Cassandra can work
natively as a hadoop data source or sink.
：现在apache已经开始整合cassandra跟hadoop了
没有的事儿。怎么整合？cassandra on hdfs? mapred optimization on cassandra?
凑合粘乎一下还行，整合就不可能了。 |
|
r*******k
发帖数: 44 | 25 我估计您只读过一些过时blog, 网文之类，没有hands on experience. （sorry,
really not nice）
NameNode HA 在2012年中已经比较成熟，我知道的多数公司2012年底已经upgrade
their production systems to use Namenode HA. 如果你听说过spof of NN，那是
2013年前的事情了，以后千万别提了。
这个领域的特点，所有的事情的都在moving around。如果你不肯定，请不要乱说。
这里不适合讨论cassandra hbase 实现细节一类，理论上的东西和实际差远了，看似美
好的东西实际实现两码事，你需要做很多的妥协来实现这些美好的目标，而cassandra
需要妥协的地方的太多了。不要以为fb, twitter ，还有其他一些公司drop cassandra
是没有strong reason的。再踢一次，cassandra 是fb 最早开发的，现在他们已经退
出很久了。
关于mapred on CFS，that's my point, 只是粘合: cassandra imp... 阅读全帖 |
|
|
|
|
z****e
发帖数: 54598 | 29 jdk8最大的改变是javafx的集成
做跨平台的ui更容易了
libgdx和robovm什么都在关注javafx的进展
而且javafx team对于垮平台实现java app在android和ios上都出了大力
你不做这些根本不懂
jdk7有nio2，读写文件更为高效，这对于hdfs等文件系统来说尤为重要
你们做的那些东西是有些过时了
JDK6, |
|
z****e
发帖数: 54598 | 30 楼主的front end也就是web server就是wordpress+php了
后面讨论的是backend的选择，那这个当然是hadoop+spark是王道了
然后针对hdfs做优化，hbase or cassandra，这些apache都做到现成的了
其次是要跟php做集成，就是古德霸说的ws，那这个就两个选择比较常用
vert.x or tomcat，jetty也行
所以最后的推荐结构是
wordpress/apache http server -> vert.x/tomcat -> hadoop/spark -> hbase/
cassandra
全套都是apache的产品打底，几乎免除所有的vendor lockin的风险
私货比较少 |
|
N**D
发帖数: 10322 | 31 不知道
据说很不错，解决了hdfs的append问题 |
|
N**D
发帖数: 10322 | 32 请教个问题
eclipse hadoop plug in, 好像连通了，但是那个DFS broswer (under Project panel
), (1) 下面是个"Error :: Null"
我猜是hdfs的location 没对，但是找不出问题 |
|
N**D
发帖数: 10322 | 33 hadoop fs -ls/mkdir/ 等等都work,
这个plug-in 看着挺酷，可以直接把文件从windows 本地传到hdfs, 运行后的结果，直
接显示在eclipse里，挺方便 |
|
m*******p
发帖数: 141 | 34 This answer makes sense!!
Thanks.
Would you please also provide a little bit of tips about the popular methods
?
For example,
This reminds me of hadoop. the map/reduce provides a good interface for
processing the single big file, based on the hdfs, blablabla.......
I actually don't have any experience of this, but I want to say something
when the interviewer mentions this topic.
Thanks!
流量 |
|
h********3
发帖数: 2075 | 35 在scalability方面，你只需要知道hadoop是Java写的，足够了。至于Facebook。
facebook几乎可以是hadoop的最大用户。facebook的数据都是存在hdfs上的。在
facebook跑的大部分数据处理，都要经过他们的hadoop那层。
其实很多人并不知道Java相当于C++的真正优势在哪里。优势并不是在语言，而是JVM这
个虚拟层。简单来说，有了这个虚拟层，可以很容易实现反射和跨平台。不要小瞧这两
个特点。特别是反射，它是动态语言的根本，不只是一个小功能那么简单，现在已经是
演变成为一种新的软件设计思想。这就是为什么之前说的，大部分C/C++程序员都无法
真正理解IoC，AOP这些。
总归而言，Java相对于C/C++来说优势主要就是在于简化设计思想。而人力成本远高于
机器成本，所以Java用得最广。
么？ |
|
h********3
发帖数: 2075 | 36 在scalability方面，你只需要知道hadoop是Java写的，足够了。至于Facebook。
facebook几乎可以是hadoop的最大用户。facebook的数据都是存在hdfs上的。在
facebook跑的大部分数据处理，都要经过他们的hadoop那层。
其实很多人并不知道Java相当于C++的真正优势在哪里。优势并不是在语言，而是JVM这
个虚拟层。简单来说，有了这个虚拟层，可以很容易实现反射和跨平台。不要小瞧这两
个特点。特别是反射，它是动态语言的根本，不只是一个小功能那么简单，现在已经是
演变成为一种新的软件设计思想。这就是为什么之前说的，大部分C/C++程序员都无法
真正理解IoC，AOP这些。
总归而言，Java相对于C/C++来说优势主要就是在于简化设计思想。而人力成本远高于
机器成本，所以Java用得最广。
么？ |
|
|
N******K
发帖数: 10202 | 38 说是hdfs小文件有问题 单点namenode问题
文件不是以文件系统的格式存储 升级迁移不方便
hadoop的map reduce 并不代表所有的分布式计算 |
|
g*****g
发帖数: 34805 | 39 This is silly. QFS is just a File System. Quantcast uses Hadoop, it replaces
HDFS with QFS.
http://www.itbusinessedge.com/blogs/it-unmasked/open-source-pro
Hadoop is used by the likes of Amazon, Twitter, Facebook, Ebay for some key
business. Calling it "smaller" is nothing but silly. Google is bigger, but
that's about it.
own |
|
g*****g
发帖数: 34805 | 40 This is silly. Quantcast uses Hadoop, they just replaces the underlying
filesystem with their own, i.e. HDFS to QFS. Consider Hadoop is used by the
likes of Amazon, eBay, Facebook, Twitter for their key businesses. Calling
it suitable for "smaller" big data is just naive. Yes, Google is bigger, but
that's about it.
own |
|
l******t
发帖数: 660 | 41 你说的big data是hadoop/hdfs吗? 一般的处理都是需要倒到一个rmdb里边然后用传统
的bi reporting,现在也有一些bi工具能直接连hadoop, 比如pentaho, 不过易用性非常
的差.
不过big data只是数据多, 但是是structure data, 就直接上data warehouse. |
|
a******1
发帖数: 47 | 42 你如果用的是MPICH2 或者openmpi，那么很多数据库的读写是支持parrallel I/O的（
可能需要HDFS的支持）。至于你提到你用4个线程可以，8个线程就不行，是不是因为你
每个node只有4个CPU，而你的code只支持shared memory，不支持distributed memory？ |
|
J********9
发帖数: 36508 | 43 谢谢回复 关于数据库的 很多问题我还弄不清 我需要做些research
我刚开始只在主机上测试 主机有8个CPU 用4个run的时候可以 8个的时候就有memory问
题了
关于MPICH2如何使用内存 我也不是很清楚：
比如说 没有并行运算 需要内存256M 是不是MPICH2的时候每个CPU都需要256M？ 这样4
个就1024M 8个就2048M？
你如果用的是MPICH2 或者openmpi，那么很多数据库的读写是支持parrallel I/O的（
可能需要HDFS的支持）。至于你提到你用4个线程可以，8个线程就不行，是不是因为你
每个node只有4个CPU，而你的code只支持shared memory，不支持distributed memory？ |
|
g*****g
发帖数: 34805 | 44 This is an linkedin request I got recently. You eat crow like a piece of
cake. You think everybody is like you? LOL.
The Discovery team is responsible for the iTunes Match, Genius, Popularity
Charts, Recommendations, Search and many other personalized and cloud
features of the iTunes Store.
This position is for a Senior Software Engineer within the Discovery team’s
Big Data group. We design and build leading-edge high-scale distributed
computing architectures, operating on terabytes of data wit... 阅读全帖 |
|
z****e
发帖数: 54598 | 45 任何java的产品，都能在windows和unix上跑
所以说，cassandra和hadoop都可以在win/unix server上用
但是这种要处理io，所以有些时候会出现一些特定的问题
在不同的os上，但是理论上是完全可以用的
hadoop的file system也就是hdfs还不够成熟，版本现在好像还在0.x
所以正式版还没有出来，所以完全有可能遇到各种问题
这就是现实世界，现在开源的big data还不很成熟
还需要时间 |
|
