由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - 技术问题探讨:数据处理
相关主题
数据库小白请教:如果数据库文件很大,MySQL和Python Pandas分你们读写数据库,是直接用java hibernate,还是Spring Framework transaction management?
学会python能找到工作吗SQL要学到什么程度?要写sub procedure吗?
问个SQL Server 2005问题 (转载)我的DBA在生成ORACLE table的时候需要一个一个column看 (转载)
哪位同学推荐本数据库设计方面的好书?? (转载)请教一个microarray问题
数据库能用来存储文件吗?C++里面把数转成字符串的命令是啥啊?
SQL add some columns into a table from another table (转载一个svn问题
SQL fast search in a 10 million records table (转载)控制程序自动化执行, 该用 perl, python or shell script ?
Truncation error import csv file to SQL table (转载)问个参数读入和传递的设计问题
相关话题的讨论汇总
话题: fields话题: 数据库话题: 记录话题: sql话题: 数据文件
进入Programming版参与讨论
1 (共1页)
z****n
发帖数: 22
1
假如项目处理用户数据文件, 每个记录里面有100个fields,项目在阶段A的时候
提取了10个fields,然后存到数据库。在阶段B,发现需要提取额外的fields 5个,
目前的办法是把用户数据文件重新处理一次,重新生成记录到数据库。感觉费时又费力。
有没有别的好的办法?
d****n
发帖数: 1637
2
key value
i*****9
发帖数: 3157
3
难道不是100个 Field 都直接进列数据库?

:假如项目处理用户数据文件, 每个记录里面有100个fields,项目在阶段A的时候
:提取了10个fields,然后存到数据库。在阶段B,发现需要提取额外的fields 5个,
c******n
发帖数: 16666
4
re
既然都要用到就直接全扔进去算了

【在 i*****9 的大作中提到】
: 难道不是100个 Field 都直接进列数据库?
:
: :假如项目处理用户数据文件, 每个记录里面有100个fields,项目在阶段A的时候
: :提取了10个fields,然后存到数据库。在阶段B,发现需要提取额外的fields 5个,

z****n
发帖数: 22
5
关键是raw field是需要处理的,比如normalized.
如果PM说要把一个新的映射,那还得重新全部处理数据库里面的记录。

【在 c******n 的大作中提到】
: re
: 既然都要用到就直接全扔进去算了

i*****9
发帖数: 3157
6
每个 field 一个 column family, 需要啥预处理直接在那个 column family 里面加新
的 column.
原始数据进no SQL 作为 ground Truth. 嫌 map reduce 太慢就拿 SQL 存一个需要的
View 在上面查。反正主数据存储不在SQL里,那有啥不满意就删了重建就好。

:关键是raw field是需要处理的,比如normalized.
:如果PM说要把一个新的映射,那还得重新全部处理数据库里面的记录。
N*****r
发帖数: 94
7

力。
最简单的就是重新抽取 重新生成记录

【在 z****n 的大作中提到】
: 假如项目处理用户数据文件, 每个记录里面有100个fields,项目在阶段A的时候
: 提取了10个fields,然后存到数据库。在阶段B,发现需要提取额外的fields 5个,
: 目前的办法是把用户数据文件重新处理一次,重新生成记录到数据库。感觉费时又费力。
: 有没有别的好的办法?

1 (共1页)
进入Programming版参与讨论
相关主题
问个参数读入和传递的设计问题数据库能用来存储文件吗?
C++中如何数据文件一起build进exe文件中?SQL add some columns into a table from another table (转载
越南问题 谁做出来了?SQL fast search in a 10 million records table (转载)
军版悬案求助:万能的军版求问个数学问题Truncation error import csv file to SQL table (转载)
数据库小白请教:如果数据库文件很大,MySQL和Python Pandas分你们读写数据库,是直接用java hibernate,还是Spring Framework transaction management?
学会python能找到工作吗SQL要学到什么程度?要写sub procedure吗?
问个SQL Server 2005问题 (转载)我的DBA在生成ORACLE table的时候需要一个一个column看 (转载)
哪位同学推荐本数据库设计方面的好书?? (转载)请教一个microarray问题
相关话题的讨论汇总
话题: fields话题: 数据库话题: 记录话题: sql话题: 数据文件