s*******n 发帖数: 688 | 1 各位老大,我一点儿也不懂数据库,现在有几个弱智问题问问大家。
我们大概有30GB 的数据要做各种不同的分析。每次分析大概要query几个GB的data出来。
我现在每次分析都要自己写程序把要的数据挑出来,比较费时。如果建一个数据库是不
是会快很多?哪个数据库比较适合这个工作呢?如果要建立一个query data 的web界面
,用什么比较好。不知道有没有把问题说清楚,谢谢大家了。 |
B*****g 发帖数: 34098 | 2 你现在都有哪些DB/OS license?
来。
【在 s*******n 的大作中提到】 : 各位老大,我一点儿也不懂数据库,现在有几个弱智问题问问大家。 : 我们大概有30GB 的数据要做各种不同的分析。每次分析大概要query几个GB的data出来。 : 我现在每次分析都要自己写程序把要的数据挑出来,比较费时。如果建一个数据库是不 : 是会快很多?哪个数据库比较适合这个工作呢?如果要建立一个query data 的web界面 : ,用什么比较好。不知道有没有把问题说清楚,谢谢大家了。
|
c**t 发帖数: 2744 | 3 If every time you need query a few GBs out of 30GB, I don't think any
database will do it dramatically quicker.
All database can satisfy you if you have smaller selection.
来。
【在 s*******n 的大作中提到】 : 各位老大,我一点儿也不懂数据库,现在有几个弱智问题问问大家。 : 我们大概有30GB 的数据要做各种不同的分析。每次分析大概要query几个GB的data出来。 : 我现在每次分析都要自己写程序把要的数据挑出来,比较费时。如果建一个数据库是不 : 是会快很多?哪个数据库比较适合这个工作呢?如果要建立一个query data 的web界面 : ,用什么比较好。不知道有没有把问题说清楚,谢谢大家了。
|
s*******n 发帖数: 688 | 4 我们这里好像有sql sever 2005, 系统基本上就是linux和windows。
【在 B*****g 的大作中提到】 : 你现在都有哪些DB/OS license? : : 来。
|
s*******n 发帖数: 688 | 5 谢谢。现在主要是不止我一个人需要从里面提数据,我自己写的一些程序虽然耗时,但
是能
完成我的工作。如果别人提数据也要我来写程序的话,工作量就比较大了。 老板是想
做一个简单的tool,让他们自己来提取数据。当然,别人需要的数据也许不会那么大,
几百兆倒是有的。现在主要是看是否可行,如果很复杂的话就算了,我们不能花太多时
间在这上面。
【在 c**t 的大作中提到】 : If every time you need query a few GBs out of 30GB, I don't think any : database will do it dramatically quicker. : All database can satisfy you if you have smaller selection. : : 来。
|
B*****g 发帖数: 34098 | 6 你现在数据存在哪儿?你用啥读取?
【在 s*******n 的大作中提到】 : 谢谢。现在主要是不止我一个人需要从里面提数据,我自己写的一些程序虽然耗时,但 : 是能 : 完成我的工作。如果别人提数据也要我来写程序的话,工作量就比较大了。 老板是想 : 做一个简单的tool,让他们自己来提取数据。当然,别人需要的数据也许不会那么大, : 几百兆倒是有的。现在主要是看是否可行,如果很复杂的话就算了,我们不能花太多时 : 间在这上面。
|
s*******n 发帖数: 688 | 7 现在全是txt文件,用c和matlab逐行读取
【在 B*****g 的大作中提到】 : 你现在数据存在哪儿?你用啥读取?
|
B*****g 发帖数: 34098 | 8 windows + sql server 2005 + ssis.
but i think a sql server DBA is needed.
【在 s*******n 的大作中提到】 : 现在全是txt文件,用c和matlab逐行读取
|
s*******n 发帖数: 688 | 9 这个是对memory需求高还是对硬盘要求高一点,看来需要找专门做数据库的人了。
【在 B*****g 的大作中提到】 : windows + sql server 2005 + ssis. : but i think a sql server DBA is needed.
|
c*******e 发帖数: 8624 | 10 我建议bjmm给奸职了吧,只收现金
【在 B*****g 的大作中提到】 : windows + sql server 2005 + ssis. : but i think a sql server DBA is needed.
|
n********6 发帖数: 1511 | 11
完全同意。
如果funding多,用SSAS,作web。不过版上有人说SSAS是垃圾。(SSAS是sql 2005自带,不额外花钱)。
如果funding少,不用ssis也可以。不要做web,写好了code,让大家都来直接运行。注意不
要给别人DBA的权限。
如果没有funding,自己学一下就可以了。边工作边学习。
如果funding多,找个full time position。
如果funding少,找个人作兼职就可以了。版上很多人都能做。
如果没有funding,自己学一下就可以了。边工作边学习。
【在 B*****g 的大作中提到】 : windows + sql server 2005 + ssis. : but i think a sql server DBA is needed.
|
B*****g 发帖数: 34098 | 12 谁说我只收现金?keke
【在 c*******e 的大作中提到】 : 我建议bjmm给奸职了吧,只收现金
|
j*****n 发帖数: 1781 | 13 自己先玩玩看吧。
可能的话用 SQL Server 2000, load 数据比2005 SSIS 简单。俺当年第一次用SSIS头
都大了, DTS 几个 click 就搞定的事情 SSIS 整半天。老脸都丢光了, 呵呵。 |