由买买提看人间百态
登录
首页
论坛
未名存档
话题女王
小圈子
马甲追踪
版面排名
流量曲线
水枪排名
发帖量曲线
发帖版面饼图
发帖时间柱图
关于本站
帮助
boards
本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字
访问原贴
JobHunting版
- 问个很蠢的spark streaming问题
相关主题
●
coding test in Jive
●
问一个twitter 问题
●
祝贺peking2升级成Staff & Tech Lead
●
写Hadoop的code感觉和写一般code没啥大区别啊
●
storm和spark, maprduce比有什么优势?
●
现在公司用storm的还多么?
●
也问一个最近版上G家的题
●
求twitter内推
●
有做video streaming的前辈吗
●
看到好多人骂scala
●
诚恳问个Bloomberg题目
●
谁有个save protocolbuf class from spark streaming to cassandra的example?
●
storm俨然是下一个冉冉升起的新星啊 (转载)
●
Hiring Lead Big Data Engineer, Graph Team
●
还有找工作的吗?
●
LIVE: Wikileaks Julian Assange Press Conference 3/23/17 (
相关话题的讨论汇总
话题: api
话题: tweet
话题: spark
话题: language
进入JobHunting版参与讨论
1
(共1页)
b**********5
发帖数: 7881
1
看了看documentation, examples, 都是些简单的basic operation, 比如count,
join, filter啊什么的。。。
我以前有个storm topology, 很多bolt, 其实就是一个asynchronous http call to
some other API。。。 但是在apache stream里,好像没有哪个transforming step是
能够asynchronous http call的?
比如我现在有这个
class Tweet {
id;
text;
language;
}
我现在tweet DStream, 要call 一个3rd party web API, 那个3rd party web api
要text, response会告诉我是什么language, 然后我save到Tweet class的language
field。
这个在apache spark里怎么搞啊?
b**********5
发帖数: 7881
2
那你不是傻逼的, 来回答啊。。。
h*******0
发帖数: 270
3
牛肉姐,这样行吗?
stream.map{asyncall}.map{
_ onSuccess {...}
}
如果3rd api很慢, 会导致memory不够。 spark 1.5以后有backpressure,用这个限制
流量吧。
1
(共1页)
进入JobHunting版参与讨论
相关主题
●
LIVE: Wikileaks Julian Assange Press Conference 3/23/17 (
●
有做video streaming的前辈吗
●
问个guangyi的面试题
●
诚恳问个Bloomberg题目
●
问个twitter 题
●
storm俨然是下一个冉冉升起的新星啊 (转载)
●
你们公司python 主要做什么重要活
●
还有找工作的吗?
●
coding test in Jive
●
问一个twitter 问题
●
祝贺peking2升级成Staff & Tech Lead
●
写Hadoop的code感觉和写一般code没啥大区别啊
●
storm和spark, maprduce比有什么优势?
●
现在公司用storm的还多么?
●
也问一个最近版上G家的题
●
求twitter内推
相关话题的讨论汇总
话题: api
话题: tweet
话题: spark
话题: language
未名新帖统计
// 7月16日
#
版面
帖数(主题数)
-
全站
4871 (796)
1
Military
3777 (569)
2
Stock
341 (51)
3
Joke
117 (17)
4
History
116 (3)
5
Automobile
100 (9)
6
USANews
55 (9)
7
Midlife
45 (1)
8
Headline
41 (41)
9
Dreamer
33 (13)
10
FleaMarket
32 (20)
11
Living
30 (7)
* 这里只显示发帖超过25的版面,努力灌水吧:-)
历史上的今天
faintcat妹妹看进来~~
发表于12年前.
NSC, PD 1/7/2007, EB2, ...
发表于11年前.
[FBA求购]MJVE2 758 MJVM2 ...
发表于6年前.
老生常谈,归与不归
发表于10年前.
【申请】Seattle西雅图 版版主——申请人...
发表于9年前.
宝宝出生,头骨骨折,求祝福
发表于9年前.
求推荐舒缓优美的古典音乐
发表于11年前.
百分之一的北京人上北大 中国网友愤怒(转载)
发表于10年前.
新人带狗狗Bailey来报道
发表于12年前.
全世界最有价值的运动队
发表于10年前.
请问大切诺基的质量如何
发表于6年前.
TNND,军版全是BKC
发表于15年前.
Inception
发表于12年前.
微软的有些家属可真恶心,为了卖保险脸都不要了
发表于10年前.
每周坐高铁的苦逼来说说感受吧!!
发表于9年前.