boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
JobHunting版 - 一个关于big data 系统架构的设计问题
相关主题
Huami华米(小米手环)湾区招软件工程师,和intern
三藩公司招entry level data scientists
干了大半年, 怀疑做big data是不是一个屎坑
回馈本版,最有名的出租车公司onsite面经
Sr.SystemsEngineer-Data-and-Analytics is needed
电面被问到hadoop了
[apple面经] iOS software engineer
hadoop面试和学习总结
[hortonworks面经] senior hadoop engineer
看看2011几个牛逼的软件公司
相关话题的讨论汇总
话题: sap话题: sql话题: data话题: hadoop话题: microsoft
进入JobHunting版参与讨论
1 (共1页)
s******a
发帖数: 184
1
公司准备考虑一个hadoop 的应用, 但现在已有基于SAP 的系统, 和基于 Microsoft
SQL 的系统, 一些 顾问公司提出的建议是把所有SAP和 microsoft SQL 里的data全
load 到 HAHDOOP去。 但管理SAP和Microsoft SQL的 组都不愿意这么做。我也觉得这
不是一个正确的做法。 现在有什么成熟的架构能够只在需要的时候读取 SAP和
microsoft SQL里的data, 而不是在Hadoop上再做一套数据的备份。或者说有什么data
federation layer 的设计能够让hadoop 的 application layer 自由调度存在那些里
的data
c******y
发帖数: 3269
2
I don't think you can decouple data and computing in the environment you
mentioned, unless you can introduce an independent storage layer, such as
Amazon s3
Without additional storage layer, connect Hadoop to raw dat as staging, load
processed data into SAP and ms SQL as reporting portal
s******a
发帖数: 184
3
除了 Amazon S3。 还有其他类似功能的 independent storage layer吗?公司目前不
太会考虑Amazon这样的 public cloud. 请问你说的 " load
processed data into SAP and ms SQL as reporting portal" 是什么意思。 项目希
望设计report portal在 Hadoop platform上。项目背景是这样的,公司有数据存在各
种现有的系统上, 现在希望有一个大数据分析系统能够对所有这些数据进行综合分析
,但不想把现有数据都在HDFS上做一个备份。
谢谢.

load

【在 c******y 的大作中提到】
: I don't think you can decouple data and computing in the environment you
: mentioned, unless you can introduce an independent storage layer, such as
: Amazon s3
: Without additional storage layer, connect Hadoop to raw dat as staging, load
: processed data into SAP and ms SQL as reporting portal

r*********8
发帖数: 223
4
这真的是有点理想了,估计只能用AWS上面的那一套才能救你了。
我们公司两年前也是这种情况,其他组都不愿意给数据,但是数据量大了RDBMS的那一
套没办法scale,
现在各个组都来找我们要数据分析结果,找他们要数据也相当配合。
不过最重要的是领导要push,要不然没办法。
1 (共1页)
进入JobHunting版参与讨论
相关主题
看看2011几个牛逼的软件公司
还有一周onsite,怎么看Hadoop.The.Definitive.Guide效率最高?
有人推荐过bigdata的读物
HDFS碉堡了,平均薪水居然有$165,000
要不要跟风搞搞big data?
Some mainland china positions
三星samsung创新部门招大数据工程师
G家mapreduce一道题
请教一个hadoop的问题
Re: 能不能编一个灌篮高手生物版 (转载)
相关话题的讨论汇总
话题: sap话题: sql话题: data话题: hadoop话题: microsoft