由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - 越来越觉得spark是niche
相关主题
MapReduce 的思想是怎么发明的?才知道liteIDE是国人的牛作!更要支持
python真是一个很恶心的语言。想山寨palantir了
想写一个machine learning的平台这个bigdata的学习路线图不错啊
Hadoop 和Python的数据分析包哪个更值得学习?有什么好的cloud/bigdata 技术方面的会议?
mahout现在还有人用不?内部推荐BigData工作机会
Spark的mllib有bug?学scala和spark需要什么pre req?
从今天起开始鼓吹R了试了下spark,不过如此啊
能不能在hadoop中用open mpi?已经全上内存了,还要40多秒啊
相关话题的讨论汇总
话题: spark话题: mllib话题: 越来越话题: niche话题: contribute
进入Programming版参与讨论
1 (共1页)
x***4
发帖数: 1815
1
我好歹也在spark上花了很多时间,也contribute过ml的code。但是现在越来越觉得
spark只是一个在很小范围里的一个应用,从工作的数量需求上看其实比一般java 甚至
是scala都少很多很多。而且真正要搞的话,对数学要求bar很高。越来越觉得是话卖白
粉的心,赚卖weed的钱。
z****e
发帖数: 54598
2
ml难道你一开始没有这个感觉?
前两年我就觉得有些问题了
数学要求不低,投入也要求不少,但是真正能马上转换成生产力的
比较少,是不是很像生物千老?
x***4
发帖数: 1815
3
你说的exactly是我现在的感觉。
你说转型搞什么好?

【在 z****e 的大作中提到】
: ml难道你一开始没有这个感觉?
: 前两年我就觉得有些问题了
: 数学要求不低,投入也要求不少,但是真正能马上转换成生产力的
: 比较少,是不是很像生物千老?

z****e
发帖数: 54598
4

http://www.mitbbs.com/article_t/Programming/31418953.html
现在回头看看这贴
还是认真搞点vert.x之类的,实实在在提高生产力
别一天到晚装点高大上的逼,没啥用的
科学的道路上从来都是一将功成,万骨那个啥的
你不用转型,我建议你把这些复杂难懂的操作
做傻瓜化来,搞可视化啊,如果你能让用户拖拖拽拽就把hdfs,cassandra这些搞定
都不要什么spark了,就光这一点,就有很大一块市场
当然如果你能spark的那些lib也都傻瓜化来,市场更大
不过估计没那么容易,jobhunting不是有人内推那个啥可视化的公司嘛
每年股票比flg都多不少,再看看互联网一对hype公司股价跌跌不休

【在 x***4 的大作中提到】
: 你说的exactly是我现在的感觉。
: 你说转型搞什么好?

z****e
发帖数: 54598
d******e
发帖数: 2265
6
spark还是太弱
工业界有很多需求结合流计算和少许的统计一点点的语言处理和机器学习
这个spark完全无法搞定。
而且实际中搭系统更重要

【在 x***4 的大作中提到】
: 我好歹也在spark上花了很多时间,也contribute过ml的code。但是现在越来越觉得
: spark只是一个在很小范围里的一个应用,从工作的数量需求上看其实比一般java 甚至
: 是scala都少很多很多。而且真正要搞的话,对数学要求bar很高。越来越觉得是话卖白
: 粉的心,赚卖weed的钱。

n*****3
发帖数: 1584
7
不太同意这个。
我们组正在搭这个system。 流计算 用 sparkstream。 mllib for 机器学习。

【在 d******e 的大作中提到】
: spark还是太弱
: 工业界有很多需求结合流计算和少许的统计一点点的语言处理和机器学习
: 这个spark完全无法搞定。
: 而且实际中搭系统更重要

n*****3
发帖数: 1584
8
lz 都 contribute过ml的code 了,
why 还感觉 “真正要搞的话,对数学要求bar很高”?
请教一下。
BTW 如果做 bigdata, spark 是 唯一 choice吧。
当然 工作的数量需求上看 一般, 不可能每个公司,每个组 都要吧。

【在 x***4 的大作中提到】
: 我好歹也在spark上花了很多时间,也contribute过ml的code。但是现在越来越觉得
: spark只是一个在很小范围里的一个应用,从工作的数量需求上看其实比一般java 甚至
: 是scala都少很多很多。而且真正要搞的话,对数学要求bar很高。越来越觉得是话卖白
: 粉的心,赚卖weed的钱。

c******n
发帖数: 4965
9
"很小范围"????? u seem to be equating spark to mllib on spark.
spark itself is a generic hadoop MR replacement, mllib is simply a "demo"
application on top of this platform

【在 x***4 的大作中提到】
: 我好歹也在spark上花了很多时间,也contribute过ml的code。但是现在越来越觉得
: spark只是一个在很小范围里的一个应用,从工作的数量需求上看其实比一般java 甚至
: 是scala都少很多很多。而且真正要搞的话,对数学要求bar很高。越来越觉得是话卖白
: 粉的心,赚卖weed的钱。

z****e
发帖数: 54598
10
flink,还有你自己写也可以

:lz 都 contribute过ml的code 了,
:why 还感觉 “真正要搞的话,对数学要求bar很高”?
1 (共1页)
进入Programming版参与讨论
相关主题
已经全上内存了,还要40多秒啊mahout现在还有人用不?
Spark会干掉Storm吗?Spark的mllib有bug?
以后真的是cassandra spark的天下了?从今天起开始鼓吹R了
谈谈为什么上scala能不能在hadoop中用open mpi?
MapReduce 的思想是怎么发明的?才知道liteIDE是国人的牛作!更要支持
python真是一个很恶心的语言。想山寨palantir了
想写一个machine learning的平台这个bigdata的学习路线图不错啊
Hadoop 和Python的数据分析包哪个更值得学习?有什么好的cloud/bigdata 技术方面的会议?
相关话题的讨论汇总
话题: spark话题: mllib话题: 越来越话题: niche话题: contribute