Data pipeline 的问题 - Java版

本页内容为未名空间相应帖子的节选和存档，一周内的贴子最多显示50字，超过一周显示500字访问原贴

Java版 - Data pipeline 的问题

相关主题
● JMS消息发布的问题	● 上传和下载JPG到MYSQL数据库代码如下
● netflix的用hdtv看它的电影，如果1000用户同时登录看同一个影片，怎么处理的？	● [转载] 哪位先进用过MYSQL里面的LOCK TABLE
● ActiveMQ和RabbitMQ	● 请高手指教：Tomcat JNDI problem
● JMS这东西用的多吗？	● Tomcat用一阵之后就不行了?
● 听说HBase很难用	● 有关JBOSS-MQ问题
● 内部推荐Bigdata工作机会	● TOMCAT的JDBC问题?
● MySQL JDBC 问题	● Jsp-Mysql for multitype resources
● 请问JSP/SERVLET和MYSQL如何实现照片上载和调用	● 一个读log以后的问题 spring + hibernate

相关话题的讨论汇总
话题: data话题: pipeline话题: 问题

(共1页)

b****u
发帖数: 1130

公司要搞一个新的数据系统专门用于内部的分析用。这个系统需要不断从交易数据库中
拷贝数据。请问有没有好的解决方案？有些数据表我只要每天同步一次，但有些数据
表最好保持实时同步，可以有10秒的延迟。现在我们的业务数据库是mysql，然后要搞
一个Data pipeline 到数据仓库。

g*****g
发帖数: 34805

每天一次的用 MySQL的read replica就行。实时更新的在应用上发 event扔进 Kafka.

【在 b****u 的大作中提到】

: 公司要搞一个新的数据系统专门用于内部的分析用。这个系统需要不断从交易数据库中
: 拷贝数据。请问有没有好的解决方案？有些数据表我只要每天同步一次，但有些数据
: 表最好保持实时同步，可以有10秒的延迟。现在我们的业务数据库是mysql，然后要搞
: 一个Data pipeline 到数据仓库。

(共1页)

相关主题
● 一个读log以后的问题 spring + hibernate	● 听说HBase很难用
● mysql falcon release	● 内部推荐Bigdata工作机会
● 请教：parse CSV文件	● MySQL JDBC 问题
● oracle/sun deal	● 请问JSP/SERVLET和MYSQL如何实现照片上载和调用
● JMS消息发布的问题	● 上传和下载JPG到MYSQL数据库代码如下
● netflix的用hdtv看它的电影，如果1000用户同时登录看同一个影片，怎么处理的？	● [转载] 哪位先进用过MYSQL里面的LOCK TABLE
● ActiveMQ和RabbitMQ	● 请高手指教：Tomcat JNDI problem
● JMS这东西用的多吗？	● Tomcat用一阵之后就不行了?

相关话题的讨论汇总
话题: data话题: pipeline话题: 问题

boards