由买买提看人间百态

topics

全部话题 - 话题: parsing
首页 上页 1 2 3 4 5 6 7 8 9 10 下页 末页 (共10页)
l***e
发帖数: 480
1
来自主题: Programming版 - c/c++/java的对象/结构输入
Goodbug的方法,感觉有点费劲:
BufferedReader r = new BufferedReader(new FileReader("file"));
String line;
while((line = r.readLine())!=null) {
String[] values = line.split("\t");
aaaobject.str1=values[0];
aaaobject.str2=values[1];
aaaobject.i=Integer.parse(value[2]);
aaaobject.j=Integaer.parse(value[3]);
}
可能我理解得有点费劲。
k******r
发帖数: 2300
2
来自主题: Programming版 - 问一个web browser 的问题
IE 在parse URL 和 parse 硬盘上的文件有什么不一样的地方吗?它们的protocol 不
一样,一个是HTTP, 另一个是FILE。
p**o
发帖数: 3409
3
来自主题: Programming版 - Python问题请教

def parse( s ) :

result = ''
lst = [ eval(i) for i in s[1:-1].split(', ') ]
head, p0 = lst[0], lst[1]
diff0 = p0 - head
flag = True
num_consecutives = 2

for p in lst[2:] :
if not flag :
flag = True
diff0 = p - p0
p0 = p
continue
diff = p - p0
if flag and diff0 <> diff :
if 2 == num_consecutives :
ss = str(head)
head = p0
diff0 = ... 阅读全帖
p**o
发帖数: 3409
4
来自主题: Programming版 - Python问题请教

def parse( s ) :

result = ''
lst = [ eval(i) for i in s[1:-1].split(', ') ]
head, p0 = lst[0], lst[1]
diff0 = p0 - head
flag = True
num_consecutives = 2

for p in lst[2:] :
if not flag :
flag = True
diff0 = p - p0
p0 = p
continue
diff = p - p0
if flag and diff0 <> diff :
if 2 == num_consecutives :
ss = str(head)
head = p0
diff0 = ... 阅读全帖
h**i
发帖数: 712
5
来自主题: Programming版 - int (*b)[2]; 是什么意思?
这么着名的东西居然没有普及
右左法则:首先从最里面的圆括号看起,然后往右看,再往左看。每当遇到圆括号时,
就应该掉转阅读方向。一旦解析完圆括号里面所有的东西,就跳出圆括号。重复这个过
程直到整个声明解析完毕。
The right-left rule: Start reading the declaration from the
innermost parentheses, go right, and then go left. When
you encounter parentheses, the direction should be reversed.
Once everything in the parentheses has been parsed, jump
out of it. Continue till the whole declaration has been
parsed.
E*****m
发帖数: 25615
6
我的領悟是
1. 任何語言 parse 以後都是 syntax tree
2. Lisp 其實就是直接寫 parse 好的 syntax tree
3. Lisp 的data 也是 syntax tree, 所以Lisp 很方便處理 Lisp
所以
*Lisp 可以比較方便的去做任何語言能做的事
當然,只是比較方便去實現, 不是什麼都已經做好了。
我和不少老碼工談過他們的 Lisp 經驗, 雖然他們到後來都被
要求改寫 C++, Java 之類的, 但是每一個人都很懷念他們
寫 Lisp 的時期, 沒遇過一個不喜歡 Lisp 的。
G***l
发帖数: 355
7
来自主题: Programming版 - functional programming?
这个是很好,但是好像也偶缺陷。比如我以前用Java写,用户输入是各种文本,然后在
后台程序里,我在Java里面把这些文本parse成AST并且interpret,最后得到他们的结
果,比如:
用户写的dsl是MonthDiff(Date1, Date2) + 1 > SomeValue
我读入这个文本到monthControl, 并且在inputData里放入Date1, Date2, SomeValue的
值(从数据库或者什么地方读过来的)。然后写,
//evaluate里做parsing和interpret
result = evaluate(monthControl, inputData)
if(result)
{
//do business logic
}
这样用户就可以写dsl直接控制我程序里的logic。假如改用haskell用embedded的话,
我的haskell程序没法直接调用那个dsl,除非把那个dsl写到我的source code,然后动
态编译运行,但是我不想要那样。或者可以有什么类似swig之类的东西让我动态调用
haskell code,但是我没法... 阅读全帖
G***l
发帖数: 355
8
来自主题: Programming版 - functional programming?
这个是很好,但是好像也偶缺陷。比如我以前用Java写,用户输入是各种文本,然后在
后台程序里,我在Java里面把这些文本parse成AST并且interpret,最后得到他们的结
果,比如:
用户写的dsl是MonthDiff(Date1, Date2) + 1 > SomeValue
我读入这个文本到monthControl, 并且在inputData里放入Date1, Date2, SomeValue的
值(从数据库或者什么地方读过来的)。然后写,
//evaluate里做parsing和interpret
result = evaluate(monthControl, inputData)
if(result)
{
//do business logic
}
这样用户就可以写dsl直接控制我程序里的logic。假如改用haskell用embedded的话,
我的haskell程序没法直接调用那个dsl,除非把那个dsl写到我的source code,然后动
态编译运行,但是我不想要那样。或者可以有什么类似swig之类的东西让我动态调用
haskell code,但是我没法... 阅读全帖
o**********t
发帖数: 406
9
按你这么说所有的都没啥东西,GOOG 就一引擎,msft 就一操作系统,加办公软件,
aapl 就做一电话,加普通电脑跟电话之间的小板子,AMZEN 更没啥,就一网店。
废话别人做出来了看着都容易。你自己 TRY TRY 就知道水深水浅了。
前头有人说了,光一个 crawler 就能做死,
...“通过parse网页 找到链接之后再发送http请求之后接收网页,存放网页,再parse
网页”
做梦哪?现在的网页有 JS, Silverlight, flash, java applet, AJAX, picture,
video ... 还有很多华丽呼哨的东西,redirect N 次, n 多广告 link, iframe,
tracking beacons ...
慢慢做啊,
c****e
发帖数: 1453
10
Vertical market一直有人做。很多用的的确就是hadoop+lucene.很多电商的产品搜索
也就是用的这些。这个组合达到了搜索引擎的最基本需求,但是和Google,Bing之类的
没法比。最重要的就是有没有relevance的infrastructure. Index的build可以通过
hadoop解决scale的问题,但是lucene的query serve非常慢。relevane才是硬骨头。至
于细节就更多了,speller, query understanding, user intent都需要大量的用户数
据和click,这就是为什么很多网站的站内搜素超级烂,还不如从google直接搜。
Ebay这么大的公司,自己的product search都很难做,挖了一些人做Cassini,效果并不
好。
http://www.slideshare.net/fullscreen/cloudera/hadoop-world-2011
你要找crawler可以看nutch,parse pdf这样的文档可以用tika.至于动态页面的parsing
,可以自己wrap webki... 阅读全帖
c****e
发帖数: 1453
11
When I refer dynamic, it means full fledged JS engine. To save parsing cost,
you don't need run a heavy rendering engine such as browser (not matter it'
s webkit or Gecko). It's much easier to write a parser for pure HTML and
simple CSS. JS interpreter is a monster. You'd better stick with established
implementation.
In your example, firebug relies on the browser to render the page, which
includes its own JS engine. It easily takes more than 1 second to finish one
page. If you only parse "static... 阅读全帖
c******o
发帖数: 1277
12
来自主题: Programming版 - 也谈OOP跟FP之争
you did not see how state monad in action, it looks just LIKE what
imperative programming looks like, except, it is all immutable inside. I do
not think it is a better way, as you can do it just use stateful code to do
it simpler.
But it is good if it is parallel env, much easier to reason the code as it
is all immutable.
for {
_ <- set(List("foo", "bar"))
parsed <- parseInt("1")
state <- get[List[String]]
_ = println("sneaky peek at the state: " + state)
doubled = dou... 阅读全帖
z****e
发帖数: 54598
13
来自主题: Programming版 - 如果要做一个铁路售票网站
如果你拿到这个需求
你第一反映是什么?
我的第一反映是,我需要了解一下当前的it系统是怎么运作的
尤其是数据格式,是怎样的,然后再根据当前系统提出后续处理的方案
对不对?
但是,这个最基本的问题,魏老师是不考虑的,因为这是别人的问题
然后是魏老师的新的数据格式
那么一个很本能的问题:如果你要新构建一个数据结构,那么如何保证旧的数据结构
平滑地过渡到新的这个数据结构中去呢?还有如何保持新旧数据一致呢?
我相信在铁道部几十年的建设中,他们肯定会有那么一套现存的
而且运转得相对不错的it系统在运作,那么他们的数据肯定有一个存放格式
而且更重要的是,这个核心的数据存放,外面会有相关依赖于这个数据格式的系统
很正常嘛,你现在打开随便一个运作十年以上的公司的数据库schema
哪个不是密密麻麻跟蜘蛛网一样的各种关联关系?
一个破公司尚且如此,更何况铁道部
那你认为,做一个哪怕是最简单的parse工具,去parse现有的各种数据格式
是不是都很难?更不要说重新构建一个新的数据格式了
所以估计铁道部网站就是在这个数据格式外层,再单独做web server
然后跟现有的数据格式做一个衔接,以这种方式来先... 阅读全帖
z****e
发帖数: 54598
14
来自主题: Programming版 - 以后Web就是Node的天下了
jsp很大可能就是最早用来做template
而且如果template前后台不统一
parse要parse半天,转换包装,这里一堆的代码
所以如果前后台用同一个模板,可以省很多代码

Java
i***r
发帖数: 1035
15
file is 2.5GB with 18,217,166 lines
my python script took about 20-30 minutes to finish
seems slow?
Thanks!!
input file data structure (showing first two lines, wrapped):
chromo pos ref alt dc1 dc2 dc3 dtm bas din
crw itb ptw spw isw irw inw ru1 ru2
ru3 im1 im2 im3 im4 xj1 xj2 qh1 qh2
ti1 ti2 glw mxa rwa ysa ysb ysc cac jaa
jac
chr01 242806 G ... 阅读全帖
l**********n
发帖数: 8443
16
来自主题: Programming版 - angular是否淘汰jquery了
我看干脆放弃html算了,还要parse html,这么搞不是多个步骤吗?直接定义自己的语
言,然后生成html不就得了,还要利用html,然后parse,这么感觉多此一举。
N*n
发帖数: 456
17
来自主题: Programming版 - 关于新语言的想法
********************
我也一直寻求一种能够快速掌握,并且接近人类自然思维习惯的计算机语言。
一种模块化的,具有一定的模式识别能力的语言。从而是一种更适于NLP 处理的
语言。 大部分语言最终是要与人接口的,对不对?到目前为止,基本都是人去适应
机器语言。而机器语言在NLP处理上有这样那样的先天缺陷。
另一个比较需要解决的问题是计算机设计中的名与实。
每个人都是自己写的程序的god.每个function 或class,可以随
意取名和定义与之对应的code.
比如我看一个Java code. parse. 我知道是要parse string.. 但
是具体实现了什么样的功能,要看相关的code..这当然可以。但想象一
下,如果,所有的programmer写的程序如果用了parse20 这个funct
ion, 它的输入、输出接口都有一致的定义。如果是不同的输入输出,用不同
的名字。如果是现有字典里完全没有的才需要建立新的名字。
这样我们在看别人的code,或学习新的程序软件的时候,是否
可以省些宝贵时间。。 接口标准化,和具体实现的polymorphism.也
许是一... 阅读全帖
h******b
发帖数: 6055
18
是应该自己在digital ocean上搞一个node/mongodb/express的REST服务?
还是应该用Amazon aws, firebase, kinvey, parse或谷歌app engine这样的半成品?
要求能做基本CRUD, 后台本身需要能够定时call别家的api去收集每日数据,做处理以
后,手机可以得到处理结果并上传一些简单数据。
安全方面是应该api key, https还是oauth?
感觉要糙快猛parse好像很不错。他们有background task理论上来说是可以完成搜集数
据这个功能的。
h******b
发帖数: 6055
19
自己架服务器感觉要学多好多东西啊。
暂时上了parse,感觉就是已经封装好的mean后台,一大堆自带功能我不用四处找就可
以直接调用。 而且除非我app赚钱,基本上是免费的。
暂时先试试吧。 他储存送出的都是json。 如果有一天我需要改后台只要是mongodb
应该不会太难。
https://parse.com/docs/js_guide
z****e
发帖数: 54598
20
来自主题: Programming版 - dart写web ui实在是太爽了
干活要紧
因为有个项目得把tweets plot在google map上
不得不碰ui,所以这个时候dart就非常管用了
当然vert.x也很好用啊,我用vert.x做个server
然后ui发送request给vert.x,vert.x收到以后,发送一个request到couchdb
或者cassandra这种,然后把结果收集到,处理一下,反馈给ui
很爽的说,dart+vert.x是绝配,很容易搞
vert.x+spark+cassandra这些也是绝配,很容易搞
这是用dart如何call google map api以及如何调用google map的一些函数
我需要用call google map的api来获取经度纬度
供参考
void showMap(double latitude, double longitude){
JsObject center = new JsObject(context['google']['maps']['LatLng'], [
latitude, longitude]);//-37.8136,144.9631
JsObject mapO... 阅读全帖
h******b
发帖数: 6055
21
来自主题: Programming版 - 大牛说说该用dart还是node?
mvc不是很普通的理念?
过两天我把我家ld的demo开源一下。 让您指导一下,看看从基本结构来说差了多少。
angular前台,parse.com后台,parse cloud code搞后台数据处理。
a*****e
发帖数: 1700
22
你那行 perl 显然做的不是同一件事情。如果做和 perl 同样的事情,以下是 Haskell
程序:
main = parse >>= mapM_ (putStrLn . show)
parse = readFile "records" >>= return . concat . map (takeOut . words) .
lines
where
takeOut x = let v = (x!!1,x!!2,x!!29,x!!27,x!!32,x!!33,x!!49)
in [(x!!1,v), (x!!2,v)]
以下是 Perl 程序:
my $filename = "records";
open (my $fh, $filename)
or die ("could not open file '$filename'");
while (my $row = <$fh>) {
my @x = (split(/ /, $row))[1,2,29,27,32,33,49];
print "($x[1], @x)\n";
... 阅读全帖
e*******o
发帖数: 4654
23
来自主题: Programming版 - 大家最近学啥呢
二爷的帖子就像一朵鲜花盛开在牛粪堆上。
我们的一个test 跑不过了,我追踪到了perl的一个parsing module, Regexp::
Grammars
https://metacpan.org/pod/Regexp::Grammars
这花两天时间复习了一下,把bug 挑了出来,然后汇报给作者(Perl 大牛)。他当天就
给fix了。
准备把parse 好好搞一下。 二爷有没有啥推荐?
T*****e
发帖数: 361
24
来自主题: Programming版 - 请教一个JSF + Java 问题
我说JSF不够清晰,是因为它运行在server端,但是很多用户操作同时可以更加方便地
从client端来实现,在client/server之间的分解不够清晰,很容易把人绕晕。现在更
加流行的是把跟用户操作相关的东西都放到client端,server端只定义服务,用来支持
必要的数据查询与存储等。这个更加灵活一些,也更加容易调试。
当然了,JSF这些也都能做。
其实前面把各个步骤列出来了,每个步骤单独实现都不难,然后组合起来就行了。如果
有需要,再在已经实现的步骤上进行调整。
比如:(125: client, 346: server)
1. On the first form (JSF view), the user selects a file to upload.
2. On the same form, the user clicks the "Submit" button.
3. In side a bean, the file is uploaded to the server and gets temporarily
saved.
4. In side the same be... 阅读全帖
g*****g
发帖数: 34805
25
来自主题: Programming版 - 如何动态定义类和方法
你现在承认那俩是装逼对象了?是个语言parse个配置文件都能把这做了,需要traits
干啥?
我老再跟你讲讲为什么你是傻逼吧。就说这个parse配置文件,假定刚开始你支持加减
乘除。后来形状复杂了,什么sin/cos都来了,怎么办?改parser。接下来更复杂了,
什么一阶二阶导数都来了,怎么办,继续改parser。要保证没regression可难了。相比
之下我就加个形状实现,如果我的实现错了,也就是这个新的形状面积算错而已,其他
形状相关的代码完全没动,是不会产生regression的。你啥不用改代码只不过一厢情愿
而已。
你小在软件工程上的道行跟我差了很多光年,还是不要出来丢脸了。
g*****g
发帖数: 34805
26
来自主题: Programming版 - 如何动态定义类和方法
你现在承认那俩是装逼对象了?是个语言parse个配置文件都能把这做了,需要traits
干啥?
我老再跟你讲讲为什么你是傻逼吧。就说这个parse配置文件,假定刚开始你支持加减
乘除。后来形状复杂了,什么sin/cos都来了,怎么办?改parser。接下来更复杂了,
什么一阶二阶导数都来了,怎么办,继续改parser。要保证没regression可难了。相比
之下我就加个形状实现,如果我的实现错了,也就是这个新的形状面积算错而已,其他
形状相关的代码完全没动,是不会产生regression的。你啥不用改代码只不过一厢情愿
而已。
你小在软件工程上的道行跟我差了很多光年,还是不要出来丢脸了。
h******b
发帖数: 6055
27
来自主题: Programming版 - 这里对infra有莫名其妙的热衷
parse很傻瓜很好用。不用自己研究服务器,非常成熟的api,大把out of box的功能(
比如说social login)。自己架的二把刀服务器真的不如这种off the shelf产品。 除
非你本来就是搞后台的,还是让专业人员解决吧。
parse + ionic最最最糙快猛的跨平台app。 你如果outgrow这个了,你已经可以拉投
资了。
游戏有cocos2dx(国产2d专用,参见刀塔传奇和那个superbowl上面打广告的heroes
charge)和unity。 当然大的团队可以考虑native。
我觉得swift没戏。 安卓市场已经很庞大。 跨平台会是主流。
做前端的确能锻炼产品理念。
z****e
发帖数: 54598
28
你可以用一个worker instance来维护一个connection pool
然后你自己再在worker里面维护一个thread pool,对应着connection pool
然后再将每一个发过来的msg parse后轮放到thread pool里面去处理
自己写要解决异步问题就这么麻烦,或者用其他人的mod
但是用了别人的mod,你还是会遇到文档的问题
还不如自己写,至少明白是怎么回事,parse json是必需的
因为msg里面的数据结构跟db里面的数据结构是不一样的
如果不转换的话,db无法接受json,nosql就大部分都是用json来储存数据
所以接受json,说到底这个是db的规范条条框框比较多造成的
数据结构在网络中,内存中和硬盘上都不一样,显然需要转换

vertx
object
encode
h******b
发帖数: 6055
29
建议parse, 成熟后台和api,脸书收购的公司,为了移动量身打造。 糙快猛的极致。
高中生拿parse搞了个千万下载的在线游戏。
而且初始阶段完全免费,等你流量需要付钱的时候,你已经不用上这个板块了。
f*******t
发帖数: 7549
30
wechat不用说了,腾讯钱多,自然要自己做一套,android background service里加一
些代码而已。
momo咋搞的不知道。国内也有一些SDK可以做push notification,不过还是有很多国内
app用parse,毕竟便宜,另外运行在AWS上暂时没被墙。
聊天比较注重latency和consistency,所以我还没发现哪个聊天工具用parse。
ET
发帖数: 10701
31
来自主题: Programming版 - buy from farm 阶段小结 (转载)
啥是账号体系?
有parse,后台的东西比较少。而且我的business logic不是太复杂。复杂了后端写的
就比较多了。
后端写javascript
Parse没用node.js 看来是明智之举。
s********k
发帖数: 6180
32
来自主题: Programming版 - buy from farm 阶段小结 (转载)
大牛,再请教你一个问题,parse的后台数据是放在哪里?比如今后你想换到其他平台
,parse的数据倒出来之类方便吗?
ET
发帖数: 10701
33
来自主题: Programming版 - buy from farm 阶段小结 (转载)
Parse provided Facebook Login & Twitter Login APIs and utilities lib to use.
With Parse, you can do your own third party login. For me, I implemented
Weibo login. Some people implemented Google+ login.
ET
发帖数: 10701
34
来自主题: Programming版 - buy from farm 阶段小结 (转载)
Some people complained Parse's pricing. I don't think they are there yet.
Parse is also looking for some flagship apps.
s********k
发帖数: 6180
35
来自主题: Programming版 - buy from farm 阶段小结 (转载)
price最次要的,不过如果你都是按照Parse的API,之后转到自己平台这部分都得重新
来吗?说实话,做APP的话找后端的人还真不好找,如果parse开始可以迅速搭建,后期
想转到其他平台方便的话,很有吸引力
s********k
发帖数: 6180
36
来自主题: Programming版 - buy from farm 阶段小结 (转载)
我意思是你APP和backend都用Parse?APP用好理解,提供很多库和service,但是
backend parse比起自己开发比如用python,node之类弄好在哪里?
ET
发帖数: 10701
37
来自主题: Programming版 - buy from farm 阶段小结 (转载)
man, your comment is too subjective. I think you have to use them to make
those comments.
不是不符合你需要的就是useless
Parse有些成功的故事。 这些paas最大的优势就是启动快,需要资源少。
最近本市的Favor Delivery 拿到A轮$16M, 就是基于Parse的,而且还不是native的ios
and android。
Favor,instacart很清楚的知道他们的应用就是个电子商务,他们做的事是劳动密集型
的,派送。
w***g
发帖数: 5958
38
来自主题: Programming版 - 关于barrier to entry
做app当然有赚大钱的,但你们难道就没发觉做app赚钱跟技术越来越没关系了吗?
做app的barrier to entry越低,competition就越多,钱就越不好赚。不知道有的人在
高兴啥。
如果一个app完全用parse或者类似的框架能搞定,我肯定碰都不会去碰。因为我能做别
人也能做,最后拼的就是美工,marketing啥的,我没有任何优势。我搞点有技术含量
的,一般人做不了,有人想要这个功能来找我,我就可以开高价。虽然赚不了大钱,但
也是赚的稳稳的。用parse做的app每月能产出足够的钱支持一个full time的怕是比例
非常低吧。
ET
发帖数: 10701
39
来自主题: Programming版 - 关于barrier to entry
不知道别的。最后一句,当然了低了。Parse称自己host了millions个应用。Parse自己
也在努力找名星应用。
和facebook 做了FbStart ,被录取的给$20K的各种credit,如果是accerlator的话,
给$50k。
今年的F8,还有Fbstart awards,5个奖项,第一名给$50K,其它4个各$5K
它要是狂赚钱的话,它用不着搞这个。
z****e
发帖数: 54598
40
你这话像是外行说的
反编译很容易
但是你去parse代码,就需要花比去重新设计代码更多的时间
一般看别人代码是你自己写代码所需要时间的2-3倍,甚至更多
哪怕是java代码,一样可以折磨死人
所以大多数抄袭者干脆就不去parse code了
直接抄就是了,改点小feature容易得多
至于那些彩蛋,ucool那些人根本没去认真看
x*********0
发帖数: 133
41
来自主题: Programming版 - 同时写两个平台的app?
Meteor是基于nodejs的一个框架,后台MVC部分是nodeJs.数据库mongoDB,省事的可以搭
配parse,不过parse是美国的,国内有类似的哈。
z****e
发帖数: 54598
42
来自主题: Programming版 - 大数据在工业界流行的黑暗真相
这个就是典型的中文这种表意文字的断词的问题
玉米面到底是玉米和面,还是玉和米面,还是玉和米和面,还是玉米面
中文parse起来复杂度要远远高于英语法语等字母语言
字母语言的words尤其容易识别,前后一空格,搞定了
但是中文不行,中文的字可以跟前后分别组合,组合出不同的意思
导致中文的parse复杂度远远大于英文等语言
相比之下,英语和法语之间的翻译就要顺畅许多

来的
z****e
发帖数: 54598
43

你打算在pdf里面加吗?
分成两大块
1)读取pdf,以及写pdf的类库你要找一个出来
2)parse pdf里面的text,对于http://, https://, www.开头的链接parse
然后将生成的link写回原来的pdf文件
z****e
发帖数: 54598
44
来自主题: Programming版 - swift用了一个月有感
因为http吃饱了需要head和body,parse来parse去
无聊不无聊,tcp足够用了,我要那么多tags干嘛?
z****e
发帖数: 54598
45
java的web service不难
xml的parse和封装,以及各种协议,都有n个现成类库可以用
而且很多都已经做成核心库了,比如java.xml
比较傻瓜,非核心库里面就是json的parse什么需要额外添加库
一般用jackson
关键是ios上可没多少,cocoa2009说的那个算是一个吧
网络相关的多数还都不是核心官方库
z****e
发帖数: 54598
46
servlet从来就不是给web service用的
是给浏览器web page用的
你也可以模拟一个http request,发送给servlet
然后接收response,然后去parse,head/body
然后进一步parse body里面的内容
但是这样搞多此一举,最简单的方式就是直接上socket
udp/tcp,vert.x可以直接监听tcp/udp,官方有教程
z****e
发帖数: 54598
47
来自主题: Programming版 - Palantir靠的是军方关系

你学big data的时候,老师有告诉过你,你一定能得到你想要的结果?
big data这些东西最大的乐趣就在于从垃圾数据中得到有用的数据
没有人能保证你一定能得到这些有用的数据
就像你找google,google也不能保证你一定得到你想要的结果一样
那你为啥还用google呢?
因为google便宜,虽然还不是那么智能,但是的确很有帮助啊
big data最大的乐趣也就在于数据来源混乱,什么都有可能
所以要尽一切可能预先组织好数据,比如按照db,nosql归类
db处理一律jdbc,然后用hibernate封装一遍,这样基本上可以保证执行的语句会比较
统一
nosql按照key value pair整理,然后还有xml,这个parse起来比较麻烦
但是xml也是结构化数据,需要parse schema先
最后是txt,这个按照文档相似度整理,streaming类似
你看我已经有一个idea出来了,而你还在告诉我这不可能
a********l
发帖数: 980
48
SA weekend patch reboot之后突然就没法build了...
build 的 console output-
> /usr/bin/git fetch --tags --progress /home/user/repositories/git/user.git
+refs/heads/*:refs/remotes/origin/*
ERROR: Error fetching remote repo 'origin'
hudson.plugins.git.GitException: Failed to fetch from /home/user/
repositories/git/user.git
at hudson.plugins.git.GitSCM.fetchFrom(GitSCM.java:735)
at hudson.plugins.git.GitSCM.retrieveChanges(GitSCM.java:983)
at hudson.plugins.git.GitSCM.checkout(GitSCM.java:1016)
... 阅读全帖
h******b
发帖数: 6055
49
来自主题: Programming版 - 高人来讲讲这个Amazon的API gateway
没后台经验的人搞一个能和parse, firebase这样的后台难度很大的。安全,性能,很
多要考虑的。
这种paas就是最快上线的保证。你哪怕省下半个后台程序员,服务器维护的,钱就远远
不止了。
不过这个gateway产品和parse, firebase比好像没什么优势啊? 除非你已经是aws用
户了感觉前者更适合前端开发人员。
w***g
发帖数: 5958
50
来自主题: Programming版 - 如何快速处理大量网上xml文件?
赵策基本上是胡吹。这种xml文件,如果已经下载下来了的话,
用python单线程一秒种可以parse 1000个(我刚刚在我的机器上测的)。
60万个如果只是parse的话,基本上就是10分钟的事情。用java或者go,
再快个十来倍问题不大。
楼主的问题是从ncbi抓文件怎么才能抓得快,并且不被发现。
我估计现在楼主应该已经被ban了。
首页 上页 1 2 3 4 5 6 7 8 9 10 下页 末页 (共10页)