d*a
发帖数: 1863 | 1 有obd2的软件，但是这个软件是个残废
读出来的数据也不过是dash board上显示的 mph rpm。。啥的
因为不知道实际车的coast down参数，所以只能根据油耗猜测
所以engine load是一个比较重要的参数
做汽车的高人们指点一下.. |
|
c****7
发帖数: 1245 | 2 好像这个awk很牛, 一般就是用它读取文件的某列, 据说只是其功能的冰山一角 |
|
h***o
发帖数: 539 | 3 BBS水木清华站∶精华区
发信人: finance (淼水), 信区: MathTools
标 题: Matlab详细教程(二十四)
发信站: BBS 水木清华站 (Sat Apr 3 16:04:11 1999)
2.8 储存及读取数据 |
|
S********a
发帖数: 359 | 4 > library(gdata)
> mydata=read.xls("c:\Study\NJ\pre\copy.xls")
给出下面信息
Error in findPerl(verbose = verbose) :
perl executable not found. Use perl= argument to specify the correct path.
Error in file.exists(tfn) : invalid 'file' argument
怎么回事呢？ |
|
l*********s
发帖数: 5409 | 5 gdata package requires perl |
|
|
|
l*********s
发帖数: 5409 | 8 Don't you know if you have ever installed Perl? Anyway, there is another package for reading xls files under windows called xlsreadwrite, which is indpendent on Perl. |
|
j*******2
发帖数: 309 | 9 I just save the file in .csv format. then use read.csv() |
|
d*******1
发帖数: 854 | 10 excel to R 是个禁区， do not try it. use csv instead.
path. |
|
s*********e
发帖数: 1051 | 11 library(RODBC);
xlsConnect<-odbcConnectExcel("C:\\temp\\demo.xls");
demo<-sqlFetch(xlsConnect, "Sheet1");
odbcClose(xlsConnect);
rm(demo); |
|
y******d
发帖数: 65 | 12 I agree with dapangmao, I think it is good to transfer xls to csv to R, or
you could output the file into some sort of txt file, then read in by R. If
you have multiple sheets in one excel file, you have to use some software of
outputing the sheets into separate csv files, then use R. The software
could be download the trial version online. It worked pretty well, however,
the time limit is very short though. |
|
S********a
发帖数: 359 | 13 Thank you all! I will just transfer xls to csv.
给前三个回我帖子的ID发包子了，感谢所有的大侠们，have a nice weekend. |
|
c*****o
发帖数: 169 | 14 是不是路径里\的问题，好像R应该用/或者\吧
path. |
|
D*********2
发帖数: 535 | 15 恩，xls/xlsx -> csv -> R
有个问题不知道各位遇到过没有:
比如，一个units里面的数本该是两位小数，比如3.12，doctor误操作，format成
numbers w/ 0 decimal. excel的好处是你点units还可以看到，加decimal还可以改回
去。可怕的是转成csv就只有3了，转进R就成integer了。
每次都得在excel里手动改好，每次follow up都要改，variable一多就很是奔溃...
哪位大侠有好办法？谢谢谢谢。 |
|
|
B******5
发帖数: 4676 | 17 我是外行，可能因为很多东西是relational database? |
|
v******i
发帖数: 1246 | 18 sql是一种用来处理数据库的语言。。。不是光会读就可以了
sas的proc sql类似 |
|
|
a*****3
发帖数: 601 | 20 要是碰上老印 人肯定自信的说自己是database developer. 我曾经见识过一个老印，
无比自信地说SQL就是P/L SQL.
I'm100% 速尔(sure)SQL 就是P/L SQL !! |
|
k*****u
发帖数: 1688 | 21 二楼正解。
没有missover的话，sas会到下一行去读取数据。 |
|
h**t
发帖数: 1678 | 22 so it reads the whole thing as a string... why don't you use read.csv(...,
header = FALSE)? |
|
w*******9
发帖数: 1433 | 23 unlist() will do the job |
|
|
p*****n
发帖数: 265 | 25 谢谢，output是
[1] "data.frame"
是这个问题吗？不过我用 unlist（）就好了，呵呵 |
|
|
O*O
发帖数: 2284 | 27 硬件不行吧，那就不要把整个文件读进内存。可以用R，Python分段读取。
俺现在主要用R，几十GB的文件很常见，没啥问题。
[发表自未名空间手机版 - m.mitbbs.com] |
|
h****y
发帖数: 9234 | 28 我说的那俩软件也都有g log,都是最基本的啦.
obd reader, 蓝牙的, ebay上十刀多一点
淘宝上几十块钱
是那种读OBD然后蓝牙发送的.你需要有个设备 蓝牙配对然后读取数据.
不是autozone卖的那种直接读的
当然,其实用智能手机的话,比那些机器爽多了.图型界面,想加多少表盘就加多少
不过你要是iphone的话得买wifi的可能贵一点点.
马力都是用速度/加速/车重估算出来的吧. OBD的速度比手机测的要准一些
这种纯浩手机自己的感应器测G力然后计录车的运行状况的软件也颇有一堆来着.
固定是关键..
录距离的功能 |
|
z****i
发帖数: 5193 | 29 不厚道啊，老是打击某老师，非得逼他把ipad1交出来让你砸掉不成？
俺不懂哈，不过这个pplive的流畅程度是不是和网速以及同时从pplive读取数据的人数
也有关系啊？ |
|
S**I
发帖数: 15689 | 30 ☆─────────────────────────────────────☆
gzou (gzou) 于 (Thu May 12 02:26:35 2011, 美东) 提到:
马上就要G on site了，
求祝福。
下面是从本版收集到的Google的试题，便于大家查询。
申明：有的附带有解释说明的，也来自于本版或者网络，大家自己看， 不保证真确
http://www.mitbbs.com/article_t1/JobHunting/31847453_0_1.html
本人ECE fresh PhD，背景是电路/EDA，跟G业务基本没什么关系
同学内部推荐的，很简单的一次电面就给了onsite
题都不难，但是自己没把握好机会，出了一些小bug。
总的感觉，出错就是硬伤，宁可从最简单的算法写起，也不能出错。
电面：
1，Skip list， http://en.wikipedia.org/wiki/Skip_list
写code实现struct skip_list * find(struct skip_list *head, int value)
2，sorted array... 阅读全帖 |
|
S**I
发帖数: 15689 | 31 ☆─────────────────────────────────────☆
gzou (gzou) 于 (Thu May 12 02:26:35 2011, 美东) 提到:
马上就要G on site了，
求祝福。
下面是从本版收集到的Google的试题，便于大家查询。
申明：有的附带有解释说明的，也来自于本版或者网络，大家自己看， 不保证真确
http://www.mitbbs.com/article_t1/JobHunting/31847453_0_1.html
本人ECE fresh PhD，背景是电路/EDA，跟G业务基本没什么关系
同学内部推荐的，很简单的一次电面就给了onsite
题都不难，但是自己没把握好机会，出了一些小bug。
总的感觉，出错就是硬伤，宁可从最简单的算法写起，也不能出错。
电面：
1，Skip list， http://en.wikipedia.org/wiki/Skip_list
写code实现struct skip_list * find(struct skip_list *head, int value)
2，sorted array... 阅读全帖 |
|
x****o
发帖数: 21566 | 32 第一章 HIFI与其他音响系统
一. 什么是HIFI？
HiFi就是“高保真”音响系统。英语缩写High-Fidelity。
Hi-Fi=高保真，发烧友口中的Hi-Fi系统一般指技术指标较高的音响器材。
那么，什么是“高保真”？
从字面上看就是真实还原，把各类声音通过音响系统真实还原出来，这就是所谓的“高
保真”
那么现在的HIFI系统能够达到真实还原吗？回答是否定的，尽管现在电子技术已经非常
发达，但是至今还是无法做到真正的还原，只能尽量靠近自然的声音。
所以你会问既然达不到真实还原，那么为什么还有那么多人在热衷HIFI？应该这样说，
现在的HIFI含义是有些变化了，市场上流行的HIFI音响是提供给你喜欢听的声音，既然
达不到真实还原，那么就做一些大家喜欢听的声音。
二. HIFI系统与普通音箱的区别
从原理上来说没有区别，大家都通过电子元件发出声音，但是从性能方面来说区别很大
，简单点形容就是普通电视图象与高清电视图象的区别，普通音箱相当于普通电视图象
，可以接受，但是不能说满意，HIFI系统相当于高清电视图象，色彩鲜艳，层次好，让
人赏心悦目。明白了这一点你也许对HIFI会有点兴... 阅读全帖 |
|
S**I
发帖数: 15689 | 33 ☆─────────────────────────────────────☆
recursive (递归) 于 (Mon Apr 11 10:56:49 2011, 美东) 提到:
大半夜收到HR的thank you note。不用管什么NDA了
本人ECE fresh PhD，背景是电路/EDA，跟G业务基本没什么关系
同学内部推荐的，很简单的一次电面就给了onsite
题都不难，但是自己没把握好机会，出了一些小bug。
总的感觉，出错就是硬伤，宁可从最简单的算法写起，也不能出错。
电面：
1，Skip list， http://en.wikipedia.org/wiki/Skip_list
写code实现struct skip_list * find(struct skip_list *head, int value)
2，sorted array with repeated elements
for given element, find out its range.
e.g. A A B B B B B C C D D E F G, given B, the out... 阅读全帖 |
|
n**d
发帖数: 9764 | 34 https://m.mp.oeeee.com/a/BAAFRD00002017121461350.html
关闭定位我就不能用微信吗？安卓应用市场乱象之权限全解析
隐私护卫队
原创
2017-12-15 06:04
关注赞赏
“只是个手机输入法，为什么要知晓我的地理位置，还要读取我的通讯录？”使用国内
某大厂安卓手机的小张（化名），觉得好像有哪里不对，但最终还是选择了安装。“流
行的输入法就那么几个，也没得选啊。”
12月13日，隐私护卫队报道了安卓应用的过度授权乱象，引来读者的强烈反响。很多人
表示，跟小张有同样的疑问：明明看上去没有相应的功能，为啥要一股脑儿地获取拍照
、地理位置、手机联系人等大量涉及隐私的权限？
0?wx_fmt=png
允许应用访问照相机吗？(图片来源：xueuisheji)
“同事欠钱人家打电话给我，我说不认识，对面的客服居然说我们半年前通过电话。个
人隐私这玩意真心存在？”“我一直很纳闷，为什么我在使用某 c 浏览器的时候，一
打开首页，全是我在淘宝浏览过的商品广告”——在南都官方微信号下，读者们纷纷吐
槽不爽经历。
报道安卓应用过度授权乱象后，隐私护卫队进... 阅读全帖 |
|
n****l
发帖数: 3375 | 35 首先要承认标题只是个噱头，语言学一般认为语言没有先进落后之分。大家都有自己的
看法，见仁见智吧。但是总看到有人在争论到底汉语是先进还是落后。虽然我不 是专
业人士，但是就用点通讯和存储上的概念来聊聊为什么汉语是一种非常先进的语言。需
要注意的是，虽然以下的论证都是基于实际的实验数据，但是计算都很粗 糙，而且实
验的规模都不大。换句话说就是，虽然在这里汉语占优，但是换一批实验参与者，可能
就倒过来了。现在实在没有什么特别全面的测试。所以下面的数字 大家看看就行，不
必太过认真。世界主要语言的效率其实都已经达到当前人脑的一个瓶颈了，总体看差异
不大。我的目的也主要是打击一下逆向民族主义者。
一、语言水平高低的评判准则
口语，放在今天来分析，实际上是一种通讯协议。就是说，语言实际上是把人的思想通
过发音器官变成一串频率不同、波形不同的声波，然后有另一个个体的听觉器官和相关
的脑部组织重新转变回思想。通讯协议，就是一个规则，一个规定了应该如何把思想/
信息转变为易于传输的信号的规则。计算机上，通讯协议基本上有这么两个评判标准：
传输效率和抗噪能力。所谓传输效率，是说，在单位时间里，按照该通讯协... 阅读全帖 |
|
g***j
发帖数: 40861 | 36 【 以下文字转载自 Military 讨论区 】
发信人: ntkrnl (ntkrnl), 信区: Military
标 题: 为什么汉语是世界上最先进的语言之一
发信站: BBS 未名空间站 (Tue Feb 3 10:19:07 2015, 美东)
首先要承认标题只是个噱头，语言学一般认为语言没有先进落后之分。大家都有自己的
看法，见仁见智吧。但是总看到有人在争论到底汉语是先进还是落后。虽然我不 是专
业人士，但是就用点通讯和存储上的概念来聊聊为什么汉语是一种非常先进的语言。需
要注意的是，虽然以下的论证都是基于实际的实验数据，但是计算都很粗 糙，而且实
验的规模都不大。换句话说就是，虽然在这里汉语占优，但是换一批实验参与者，可能
就倒过来了。现在实在没有什么特别全面的测试。所以下面的数字 大家看看就行，不
必太过认真。世界主要语言的效率其实都已经达到当前人脑的一个瓶颈了，总体看差异
不大。我的目的也主要是打击一下逆向民族主义者。
一、语言水平高低的评判准则
口语，放在今天来分析，实际上是一种通讯协议。就是说，语言实际上是把人的思想通
过发音器官变成一串频率不同、波形不同的声... 阅读全帖 |
|
|
l**n
发帖数: 7272 | 38 虽然这里的码工比较少，但是能appreciate coding和programming的朋友也可以看看。
我觉得挺有意思的。
http://blog.sina.com.cn/s/blog_5d90e82f01014k5j.html
我想通过这篇文章解释一下我对 Unix 哲学本质的理解。我虽然指出 Unix 的一个设计
问题，但目的并不是打击人们对 Unix 的兴趣。虽然 Unix 在基础概念上有一个挺严重
的问题，但是经过多年的发展之后，这个问题恐怕已经被各种别的因素所弥补（比如大
量的人力）。但是如果开始正视这个问题，我们也许就可以缓慢的改善系统的结构，从
而使得它用起来更加高效，方便和安全，那又未尝不可。同时也希望这里对 Unix 命令
本质的阐述能帮助人迅速的掌握 Unix，灵活的应用它的潜力，避免它的缺点。
通常所说的“Unix哲学”包括以下三条原则[Mcllroy]：
一个程序只做一件事情，并且把它做好。
程序之间能够协同工作。
程序处理文本流，因为它是一个通用的接口。
这三条原则当中，前两条其实早于 Unix 就已经存在，它们描述的其实是程序设计最... 阅读全帖 |
|
C********n
发帖数: 6682 | 39 http://www.av199.com/thread-178902-1-1.html
1.为什么电脑/硬盘做音源，比CD好？
因为人比较懒，早就看CD不舒服了，一直梦想成千上万的曲目，坐沙发上不动就能随便
换着听。前一阵子心血来潮准备动手一试电脑做音源。一开始期望值很低，希望音质和
中低端CD机差不多或稍差就可以。结果经过一个月的实践，我的结论是硬盘APE做音源
，音质绝不比CD差，也许更好（理论上是硬盘比CD转盘更好，但是我听不出来区别）
我现在的玩法是无损压缩的APE、FLAC或WAV由Foobar播放（有时44.1/16直出，有时用
SRC foobar插件软升频到96/24，比较中），接DAC USB口，DAC平衡输出到功放。CD机
的模拟输出接功放，数字输出接DAC的同轴口。
1. CD的模拟输出跟同价位DAC的输出比：不管在解析力还是全频段的平衡响应，DAC都
明显胜出。也就是说我的DAC里的DAC比我的CD里的DAC强得多。不难理解啦，因为CD里
面是转盘+DAC，转盘也是成本的啊，CD机当然比不上同价的外置DAC啦。
2. CD转盘跟硬盘比：用我DAC上的USB输入（... 阅读全帖 |
|
H****r
发帖数: 16240 | 40 机械计算机
——某杂志约稿，稿子好了，杂志倒了。就发在这里吧
马前卒
我问大家：“那你们的计算机的数制呢？你们都有电脑吧？” 我们再次达成了一致，
他们都说是二进制。
披棕色大衣的人说：“这是很自然的，要不计算机就很难发明出来。因为只有两种状态
：豆子掉进竹片的洞中或没掉进去。”
我又迷惑了：“ ……竹片？豆子？”
“ 看来你真的没上过学，不过周武灵王发明计算机的事应该属于常识。”
“ 周武灵王？那个东方的国王或巫师？”
“你说话要有分寸，怎么能这样形容控制论的创始人？”
“那计算机……您是指的中国的算盘吧？”“什么算盘，那是计算机！占地面积有一个
足球场那么大，用竹片和松木制造，以黄豆做为运算介质，要一百多头牛才能启动呢！
可它的CPU做得很精致，只有一座小楼那么大，其中竹制的累加器是工艺上的绝活。”
“怎么编程序呢？”
“在竹片上打眼呀？那个出土的青铜钻头现在还存在北京的故宫博物馆里呢！它的中文
名字叫‘辞头’ ，现在人们用这个名称称呼磁盘上读写的那个部件。周武灵王开发的
易经3.2 ，有上百万行代码，钻出的竹条有上千公里长呢……”
这个片段来自刘慈欣的《纤维》，一个飞行员偶然穿越... 阅读全帖 |
|
d**e
发帖数: 6098 | 41 ☆─────────────────────────────────────☆
peking2 (scala) 于 (Tue Mar 19 14:28:11 2013, 美东) 提到:
1. System design 是一个很大的话题，大的System一般都是由Architect来设计的，因
此就算工作过若干年的也未必有很丰富的system design的经验。如果想对system
design有一个初步了解，我发现这个文章不错，http://www.palantir.com/2011/10/how-to-rock-a-systems-design-interview/。
2. 因为我们jobhunting的主要目标集中在了FLGT等互联网公司，因此在这个范畴里的
system design也就集中在了分布式计算和分布式存储的design上了。想对这些设计理
念有个大体的了解可以读读Google的三驾马车，GFS, MapReduce和BigTable。
3. 有大牛建议读读各个公司的engineering blogs，我觉得是非常好的建议。不但能学
习system des... 阅读全帖 |
|
|
y****i
发帖数: 2108 | 43 你以为这是哪一年？2012年2月8号（昨天）刘教授里远的博客。
留心一下后面的留言，大部分都是鼓掌欢呼的。
真的是生物的多样性啊。
http://creato.blog.sohu.com/203011890.html
-------------------------------
最新：朱巨龙先生发表重要评论（详见评论帖），痛批流氓匪首傅德志妖言邪论，颂赞
科学真相，振聋发聩，入木三分！（2012－2－08）
＝＝＝科学的胜利，才是真正的胜利！＝＝＝
－－－－是的，我们胜利了!两篇国际水平的英文论文，科学揭示了周照虎为活体虎和
立体虎的真相，无情剥开了年画虎为抄袭周照虎的人工合成怪物虎的丑陋面目。向全世
界宣布，大巴山华南虎没有灭绝，周正龙没有造假！科学的胜利，才是真正的胜利！（
2012－2－08）
本人第二篇虎照研究及野外考察论文已经在国际英文杂志－－《生物多样性杂志》
2011年第4期发表（Biodiversity Journal. Decemember, 2011 2(4):161-220）。一
方面，再次提供强有力的证据证明周照虎是... 阅读全帖 |
|
s*****n
发帖数: 1636 | 44 英国研究人员用人工合成的脱氧核糖核酸(D N A )存储文本文档、图片和声音文件等
数据，随后完整读取。
新介质仿碱基
位于欣克斯顿的欧洲生物信息研究所研究小组利用D N A存储数据的关键是D N A碱
基。D N A这种双螺旋结构上有4个化学基团，即核碱基，它们按照特定顺序排列，组成
遗传信息，指导生物体生长发育。
研究人员开发的D N A数字存储系统同样利用这4个碱基“字母”，开发定制代码，
完全区别于生物体所用“语言”。当复制一份计算机文件时，D N A数字存储系统首先
把硬盘信息中的二进制数翻译成定制代码，然后借助标准D N A合成机器制造出相应的
碱基序列。这一序列并非一个长分子，而是多个重复片段，每一个片段携带一些索引细
节，明确各自在整体序列中所处位置。
这样的系统虽然显得冗余，优点是即便某些片段遭损毁，数据不会丢失。
分子生物学实验室用来读取生物体D N A的标准设备可以读取信息，当即呈现在电
脑屏幕上。
大容量保存久
研究人员在由《自然》杂志发表的论文中写道，D N A作为数字存储媒介的显著优
点之一是容量大。英国广播公司23日援引研究小组成员尼克·戈德曼的话报道，D... 阅读全帖 |
|
c***s
发帖数: 70028 | 45 你的流量够用吗？
你的手机流量安全吗？近期，几宗关于手机流量的纠纷见诸新闻客户端，“流量偷跑”已经成为通信行业的热门词汇，刺激着每一个手机用户的神经。
从“我是马甲马老师”的出国流量偷跑乌龙事件，到近期有手机用户3小时用掉23GB流量，再到一用户1天跑1GB流量等新闻，引发了手机用户对流量安全的担忧，促使各通信运营商研发流量保护技术。
手机流量是怎么“跑掉”的？用户该怎样防止“流量偷跑”？移动互联网时代，数据流量与每个手机用户息息相关。
手机病毒频“作案”
今年8月份，一款手机木马病毒“流量僵尸”感染44万部手机，中招者每次解锁手机都会导致木马疯狂耗费流量，日耗流量可超百兆。无独有偶，9月份，一款名为“幽灵推”的安卓病毒席卷全球。手机中毒后，会不断下载病毒推广的应用，并会强行关掉WiFi，直接使用3G/4G通信网络，大量消耗用户流量。
根据某门户网站的手机安全报告显示，手机病毒是盗取手机流量的“真凶”之一，2015年上半年，在Android病毒类型中，资费消耗类病毒比例最大，占比达到79.18%，排名第一。
上述手机病毒被二次打包到一些热门应用中，偷偷在后台启动，然后私自下载其他应用、... 阅读全帖 |
|
w*********g
发帖数: 30882 | 46 为什么汉语是世界上最先进的语言
一、语言水平高低的评判准则
口语，实际上是一种通讯协议。就是说，语言实际上是把人的思想通过发音器官变
成一串频率不同、波形不同的声波，然后被另一个体的听觉器官和相关的脑部组织重新
转变回思想。通讯协议，就是一个规则，一个规定了应该如何把思想/信息转变为易于
传输的信号的规则
计算机上，通讯协议有两个基本评判标准：【传输效率】和【抗噪能力】
传输效率：在单位时间里，按照该通讯协议能够传输多少信息。
抗噪能力：这种通讯方式能够在多大的噪音下仍然保证绝大多数信息正确传输。
【传输效率】又分两个方面，编码效率和传输速度
编码效率：这个通讯协议能够把一个信息用多短的一串信号来表达
传输速度：一段信号，能够以多快的速度传输
评价一种语言的口语是否先进，就要分析上面这几个问题。
文字，则是一种数据存储方式，存储格式的要求与通讯协议不同，存储格式要求储
存空间小、读写速度快，相比于读取速度，书写速度是次要的。这是因为平均下来一次
书写对应很多次阅读，而人在阅读文字上花的时间一般远远大于书写。尤其是现代社会
，手写越来越少，计算机输入、打印、印刷都大大加快了记录文字的速度... 阅读全帖 |
|
l*******e
发帖数: 3584 | 47 有这么多的警告，看来还是要小心一些。
查了一下相关解释，记在这吧，这块盘的错误还是很严重的，不能正常用了。
一般同一型号的硬盘SMART个数是相同的，但是同一硬盘厂不同时期出的硬盘SMART个数
是不同的。
虽然关键属性因品牌不同有差别，但有一项属性是所有品牌都有的。这就是05项
Reallocated Sectors Count，它的作用是记录重映射扇区个数。硬盘都具备一定的修
复功能，当出现不稳定的扇区，硬盘Firmware里的程序会把不稳定扇区的数据转移到同
样容量的备用扇区里面，并屏蔽掉不稳定扇区，实现坏道替换。这种硬盘底层的操作在
操作系统里不留痕 迹，他会在S.M.A.R.T属性的05项做下记录。05项的当前值显示备用
扇区的多少。新盘出厂时，备用扇区最多，随着使用中坏扇区的出现，备用扇区的减少
，当前值逐渐降低， 各品牌的硬盘备用扇区数量是不同的， 05项阈值（THRESHOLD）
控制上也不一样。希捷硬 盘的阈值是36，西数硬盘的阈值是140。
相对关键属性来说，资料属性的作用不是太大，但是也可以通过资料属性发现一些问题
，要注意关键属性重点看当前值，而资料属性重点在... 阅读全帖 |
|
r******r
发帖数: 700 | 48 有点点长啊。
有一个 tool, 以前处理的数据比较少，所以速度，时间都不成问题。但现在需要处理
的数据增大，速度问题就突出了。费了好大一番力气，总算弄通了，一次处理的时间由
原来的 24 个小时，减小为 3 个小时。
第一次弄多线程，很费劲。但弄通了（只是这个小 task 弄通了，并非多线程弄通了）
，又觉得很有意思，小有成就感。分享一下，希望对 beginner 有帮助，也希望有经验
的多指教。其中有些地方，还没有完全明白，正在学习-ing。
程序其实也简单，就是在单机上运行的一个程序。过去单线程的，即使在多 core 的机
器上运行，也只能利用处理器的少部分能力。现在就是要改为多线程，多核处理。
数据存在 10 个文本文件中，每个大约 40M.程序从每个文件逐行读取，逐行处理，很
多信息被保存到不同的数据结构中。最后输出处理报告，中间还要将部分处理信息输出
到一个 XML 文件中。
经过一番 google search 和研究，所做的改动包括：
1） 将原来的逐行读取，逐行处理，改为先将每个文件的所有行读到一个新建的
DataStore 中，这个结构比较简单。就是保持原来的每行文... 阅读全帖 |
|
J********9
发帖数: 36508 | 49 其实我现在用的就是MPICH2
貌似 用MPICH2用的内存更多 比方说我用8线程做会出现VirtrualMemory问题 4线程就
没有
我现在要考虑的问题是：内存问题 （数据上限）；速度问题
1.数据写入文件：多线程同时读取同一个文件 很慢很慢
2. 数据写入数组：可以多线程同时处理 但是有内存问题；如果一个线程处理，另外线
程读取，线程间交互也慢
还是应该考虑算法的改进。
另外，数据量太大时， 可以考虑利用多线程处理建立一个缓冲， 分块处理数据。一个
线程处理当前数据时，另外的线程去读取将要处理的数据到内存。 |
|
