由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Java版 - Re: salesforce用的什么数据库产品呀?
相关主题
[转载] Mutually exclusive attributessoa变成rest,大家公司在用哪个?
求思路Object stream & serilization有啥用处?
the best way to transfer data?请教一下LeetCode刷完之后该看些什么书?
Java API for XML?要将数据同时生成JSON和XML, 应该先生成哪个,再转换成另一个
What xml editor plugin for eclipse?为啥RDBMS只用一个Index?
请教,business analyst 适合学什么语言?JDBC & Firewall
what do u think of SOAP vs REST ( or even FB's thrift server)?How to connect to SQL2000?
Flex,Silverlight or Cappuccino/Sproutcore/JavascriptMVC?Re: SQL Server 2000 Driver for JDBC - Er
相关话题的讨论汇总
话题: salesforce话题: 数据库话题: queries话题: 数据话题: data
进入Java版参与讨论
1 (共1页)
o***i
发帖数: 603
1
【 以下文字转载自 Database 讨论区 】
发信人: olivi (笨笨), 信区: Database
标 题: Re: salesforce用的什么数据库产品呀?
发信站: BBS 未名空间站 (Fri Apr 5 11:34:02 2013, 美东)
最近有个项目,需要从salesforce扒数据下来,倒进我们自个的Sqlserver
大概10来万的数据
sf一次只能给你2k条,此为一ft
下来的数据,搞成json格式,有一堆嵌套,带一堆的attributes(不需要),此二ft
我转成xml格式,再传进我们的DB(我们用的java)
那个慢呀。。。。
请教版上各位大拿,以上步骤有什么可以优化的?
p*****2
发帖数: 21240
2
oracle
o***i
发帖数: 603
3
二爷威武!
请看我转贴中的新问题?

【在 p*****2 的大作中提到】
: oracle
g*****g
发帖数: 34805
4
扒数据可以并行,转格式可以并行。

【在 o***i 的大作中提到】
: 二爷威武!
: 请看我转贴中的新问题?

t*******e
发帖数: 684
5
用Spring Batch,典型的batch data processing. 有必要的话和spring integration
或camel并用。
o***i
发帖数: 603
6
我也想并行呀
但是salesforce给是这样的:发个query给他,他给你回复
uery response: {
"done": false,
"nextRecordsUrl": "...",
"records": ....
...
只能循环看是不是done,用nextRecordsUrl获取更多数据呀

【在 g*****g 的大作中提到】
: 扒数据可以并行,转格式可以并行。
o***i
发帖数: 603
7
另外,性能的最大瓶颈在Sqlserver处理XML数据上

【在 g*****g 的大作中提到】
: 扒数据可以并行,转格式可以并行。
g*****g
发帖数: 34805
8
In that case, you probably want to process XML in app server. e.g. Even if
your data retrieval has to be sequential. You can read the data and send the
data to an app cluster for processing. The app cluster then send raw sql
queries to your DB for persistence.

【在 o***i 的大作中提到】
: 另外,性能的最大瓶颈在Sqlserver处理XML数据上
t*******e
发帖数: 684
9
The returns are pagnated. it is not a limitation of salesforce, but your
queries. why not narrow down data range with filters, and fire many queries
covering different ranges simultaneously.

【在 o***i 的大作中提到】
: 我也想并行呀
: 但是salesforce给是这样的:发个query给他,他给你回复
: uery response: {
: "done": false,
: "nextRecordsUrl": "...",
: "records": ....
: ...
: 只能循环看是不是done,用nextRecordsUrl获取更多数据呀

o***i
发帖数: 603
10
这是我最初的想法了,我原来是是按照username来,a-g, h-l之类的分割,但是这个SF
的数据不知道是谁设计的,很不规范,用filter经常会漏掉一部分数据,还得测试怎么
划分才比较合理,太麻烦了
这个SF的数据库很诡异的,有一个email地址,我不带条件直接返回的结果里没有的,但
是我用where Email='the address',又有这个email的
但是今天我测试一下,返回结果又正常了

queries

【在 t*******e 的大作中提到】
: The returns are pagnated. it is not a limitation of salesforce, but your
: queries. why not narrow down data range with filters, and fire many queries
: covering different ranges simultaneously.

t*******e
发帖数: 684
11
不能partition query的话就没办法了,用spring batch至少保证不会为一两个bad
records fail整个job。

SF
,但

【在 o***i 的大作中提到】
: 这是我最初的想法了,我原来是是按照username来,a-g, h-l之类的分割,但是这个SF
: 的数据不知道是谁设计的,很不规范,用filter经常会漏掉一部分数据,还得测试怎么
: 划分才比较合理,太麻烦了
: 这个SF的数据库很诡异的,有一个email地址,我不带条件直接返回的结果里没有的,但
: 是我用where Email='the address',又有这个email的
: 但是今天我测试一下,返回结果又正常了
:
: queries

1 (共1页)
进入Java版参与讨论
相关主题
Re: SQL Server 2000 Driver for JDBC - ErWhat xml editor plugin for eclipse?
a question regarding JDBC driver?请教,business analyst 适合学什么语言?
Java练习题 5what do u think of SOAP vs REST ( or even FB's thrift server)?
有没有大牛在搞cloud?-- 包子贴Flex,Silverlight or Cappuccino/Sproutcore/JavascriptMVC?
[转载] Mutually exclusive attributessoa变成rest,大家公司在用哪个?
求思路Object stream & serilization有啥用处?
the best way to transfer data?请教一下LeetCode刷完之后该看些什么书?
Java API for XML?要将数据同时生成JSON和XML, 应该先生成哪个,再转换成另一个
相关话题的讨论汇总
话题: salesforce话题: 数据库话题: queries话题: 数据话题: data