如何快速处理大量网上xml文件？ (转载) - Java版

本页内容为未名空间相应帖子的节选和存档，一周内的贴子最多显示50字，超过一周显示500字访问原贴

Java版 - 如何快速处理大量网上xml文件？ (转载)

相关主题
● hadoop 2.0要出来了，我看了下架构，感觉很复杂啊	● 有人用过hadoop吗
● 内部推荐Bigdata工作机会	● 菜鸟请教个hadoop streaming job 的问题 (转载)
● 是不是中毒了，谢谢啊！	● 现在什么CLOUD COMPUTING,HADOOP,MAPREDUCE,GFS,HIVE什么的,火的一塌糊涂`~大牛来分析分析~
● 有什么办法高效的进行replaceAll	● hadoop java 里面的SomeClass.class 是什么意思？ (转载)
● 如何高效的学习java	● Amazon.com is Hiring- SDE with Machine Learning/Data mining/Hadoop background
● java web services怎么把xml,json格式的数据解析？用哪些插件	● Any recommendation on starting Hadoop?
● java swing vs javafx,还有	● hadoop quickstart 疑问
● 这里有人玩hadoop/hbase么？	● 这几年Java跟其他语言的差距拉大了。

相关话题的讨论汇总
话题: 文件话题: xml话题: 网上

进入Java版参与讨论

(共1页)

g*****n
发帖数: 15

【以下文字转载自 Programming 讨论区】
发信人: guanjun (guanjun), 信区: Programming
标题: 如何快速处理大量网上xml文件？
发信站: BBS 未名空间站 (Mon Aug 24 20:33:14 2015, 美东)
小弟新手，恳请各位大侠指点。万分感激！
只用单个电脑，不用hadoop/spark这些框架
网上有大约60万个xml文件，比如下面是一个：
http://eutils.ncbi.nlm.nih.gov/entrez/eutils/efetch.fcgi?db=pub
需要解析每个文件，结果然后存在电脑上。现在的程序每次都要访问网上的文件，大约
耗时3天才能完成。
有没有更加高效的方法，快速完成?

m******u
发帖数: 12400

为什么要解析后存放，不解析文件能存放么？难道会影响后续分析？

(共1页)

进入Java版参与讨论

相关主题
● 这几年Java跟其他语言的差距拉大了。	● 如何高效的学习java
● 请问Hadoop要怎么学？	● java web services怎么把xml,json格式的数据解析？用哪些插件
● 去android programming startup公司，还是java developer公司？	● java swing vs javafx,还有
● 开发前景光明啊	● 这里有人玩hadoop/hbase么？
● hadoop 2.0要出来了，我看了下架构，感觉很复杂啊	● 有人用过hadoop吗
● 内部推荐Bigdata工作机会	● 菜鸟请教个hadoop streaming job 的问题 (转载)
● 是不是中毒了，谢谢啊！	● 现在什么CLOUD COMPUTING,HADOOP,MAPREDUCE,GFS,HIVE什么的,火的一塌糊涂`~大牛来分析分析~
● 有什么办法高效的进行replaceAll	● hadoop java 里面的SomeClass.class 是什么意思？ (转载)

相关话题的讨论汇总
话题: 文件话题: xml话题: 网上

#	版面	帖数(主题数)
-	全站	4871 (796)
1	Military	3777 (569)
2	Stock	341 (51)
3	Joke	117 (17)
4	History	116 (3)
5	Automobile	100 (9)
6	USANews	55 (9)
7	Midlife	45 (1)
8	Headline	41 (41)
9	Dreamer	33 (13)
10	FleaMarket	32 (20)
11	Living	30 (7)

boards

未名新帖统计// 7月16日

历史上的今天