k****r 发帖数: 807 | 1 1. 如果想在cluster里面写一个简单的remote写文件的程序,用python+http是不是合
适,文件大小是几十M,可能是表的形式。
2. 如果是kafka substribe的数据,这样的streaming怎么再remote传给别的node呢,
python+http是否合适。简单的http post可以做到吗?
谢谢。 |
h*i 发帖数: 3446 | 2 python+http蛮好的,糙块猛。现在python的生态环境我觉得比java都要强一点了。
前两天我把wdong的kgraph给用python http server包一下在docker上用,一个小时搞
定,我平时都不用python的,现google。
【在 k****r 的大作中提到】 : 1. 如果想在cluster里面写一个简单的remote写文件的程序,用python+http是不是合 : 适,文件大小是几十M,可能是表的形式。 : 2. 如果是kafka substribe的数据,这样的streaming怎么再remote传给别的node呢, : python+http是否合适。简单的http post可以做到吗? : 谢谢。
|
w***g 发帖数: 5958 | 3 1. remote写文件:NFS或者写完了scp/rsync过去。
2. 同上,或者在remote node上也开一个kafka。
http post只是个协议,不是不能用,你总得有个web service来接收http post吧?
如果是python, RPyC比用http写web service或者thrift啥的要方便得多。
不知道你想干嘛,只能给这么多建议。
【在 k****r 的大作中提到】 : 1. 如果想在cluster里面写一个简单的remote写文件的程序,用python+http是不是合 : 适,文件大小是几十M,可能是表的形式。 : 2. 如果是kafka substribe的数据,这样的streaming怎么再remote传给别的node呢, : python+http是否合适。简单的http post可以做到吗? : 谢谢。
|
h*i 发帖数: 3446 | 4 这个得看个人吧,你搞底层的东东搞习惯了,对很多人来说,搞web service要比搞RPC
容易太多了。python web工具一堆堆的,随便狗一下就可以搞定的东西,为啥要搞RPC
这种妖哦子。
【在 w***g 的大作中提到】 : 1. remote写文件:NFS或者写完了scp/rsync过去。 : 2. 同上,或者在remote node上也开一个kafka。 : http post只是个协议,不是不能用,你总得有个web service来接收http post吧? : 如果是python, RPyC比用http写web service或者thrift啥的要方便得多。 : 不知道你想干嘛,只能给这么多建议。
|
k****r 发帖数: 807 | 5 我也是搞底层的。
我是想streaming的东东,remote到其他node上,最终是要写到database里面去的。
但是第一步是想先能传过去,写到disk上先。
我也觉得用http需要web接受,所以不明白,如果想先写到disk上去,用什么样的技术
比较好。
用python,不需要http连接就可以完成这样的工作吗?
好厉害,一个小时可以搞定,可不可以share一下你的思路,或是告诉我在那里可以找
到现成差不多可以用的,我对python不熟悉也,确切的说对server-client都不大熟悉
,之前做数据库多些。
谢过先。 |
h*i 发帖数: 3446 | 6 你这个streaming东西,如果source就是kafka, 要做的事情也简单,用kafka client来
consume就完了,https://github.com/mumrah/kafka-python, python很简单,写个小
东西很方便。要是事情复杂,还要实时的,就上Storm啥的轮子。
我那个事情很简单,就是把wdong的kgraph python API包一包,可以在Web上query而已
,两个python文件,一百行而已。我提这个事情的目的,是说明python搞Web很容易。
我就随便google了一下,搜了搜python web server benchmark, 看见说是wheezy.web
最快,就用了,简单的用一个http get把query包装一下, 就完成了。从没学过python,
以前就用过一次, 改写别人的web scrapper,也是现google现学,一天就搞定了。
python很狗狗friendly的。
【在 k****r 的大作中提到】 : 我也是搞底层的。 : 我是想streaming的东东,remote到其他node上,最终是要写到database里面去的。 : 但是第一步是想先能传过去,写到disk上先。 : 我也觉得用http需要web接受,所以不明白,如果想先写到disk上去,用什么样的技术 : 比较好。 : 用python,不需要http连接就可以完成这样的工作吗? : 好厉害,一个小时可以搞定,可不可以share一下你的思路,或是告诉我在那里可以找 : 到现成差不多可以用的,我对python不熟悉也,确切的说对server-client都不大熟悉 : ,之前做数据库多些。 : 谢过先。
|
k****r 发帖数: 807 | 7 谢谢你的详细回复。我也去放狗查查,关键是之前查了一阵子,没有找到特别符合我这
边需求的。。。
web
python,
【在 h*i 的大作中提到】 : 你这个streaming东西,如果source就是kafka, 要做的事情也简单,用kafka client来 : consume就完了,https://github.com/mumrah/kafka-python, python很简单,写个小 : 东西很方便。要是事情复杂,还要实时的,就上Storm啥的轮子。 : 我那个事情很简单,就是把wdong的kgraph python API包一包,可以在Web上query而已 : ,两个python文件,一百行而已。我提这个事情的目的,是说明python搞Web很容易。 : 我就随便google了一下,搜了搜python web server benchmark, 看见说是wheezy.web : 最快,就用了,简单的用一个http get把query包装一下, 就完成了。从没学过python, : 以前就用过一次, 改写别人的web scrapper,也是现google现学,一天就搞定了。 : python很狗狗friendly的。
|
z****e 发帖数: 54598 | 8 clustering
this requirement is not that easy
u need VERT.X
Hazelcast 4 clustering management
Reactive/RxJava 4 streaming
UDP/TCP listener
dont use HTTP, u need to understand the difference between HTTP1 & HTTP2
make sure u use HTTP2 which could provide persist connection
etc.
not that easy
and VERT.X probably is ur best bet |
k****r 发帖数: 807 | 9 How about node.js?
【在 z****e 的大作中提到】 : clustering : this requirement is not that easy : u need VERT.X : Hazelcast 4 clustering management : Reactive/RxJava 4 streaming : UDP/TCP listener : dont use HTTP, u need to understand the difference between HTTP1 & HTTP2 : make sure u use HTTP2 which could provide persist connection : etc. : not that easy
|
z****e 发帖数: 54598 | 10
u gonna need sth. like hazlecast to help u do some cache & mr jobs
it is cluster rather than a single node
【在 k****r 的大作中提到】 : How about node.js?
|
|
|
k****r 发帖数: 807 | 11 Thank you for the suggestion. will do more investigation based on your
advise.
【在 z****e 的大作中提到】 : : u gonna need sth. like hazlecast to help u do some cache & mr jobs : it is cluster rather than a single node
|
k****r 发帖数: 807 | 12 这个http post的数据post到哪里去的,比如从10.0.0.4post到ip: 10.0.0.3:3023一些
data,并且我在10.0.0.3上面有数据库,我想在10.0.0.3上面读被posted的数据into
some table.我到哪里找这个数据呢?是不是需要用python写个接受数据的script,这
样就可以用python的数据库api insert了。
谢谢牛牛们的建议。 |
h*i 发帖数: 3446 | 13 你需要在10.0.0.3机器上跑一个python http server(其实就是一个python script),
让它listen to port 3023。
python web framework的选项多得不得了,你如果没有复杂需求,就找个比较简单的。
比如我前两天用的wheezy.web,据说最快,但好像用的人不多,可能有问题没人回答。
不过我也没啥问题,copy paste doc就搞定了。flask好像也是比较简单的那种
framework,用得人多些。其他的大的framework比如django这种可能要算overkill了。
你就用flask好了。
【在 k****r 的大作中提到】 : 这个http post的数据post到哪里去的,比如从10.0.0.4post到ip: 10.0.0.3:3023一些 : data,并且我在10.0.0.3上面有数据库,我想在10.0.0.3上面读被posted的数据into : some table.我到哪里找这个数据呢?是不是需要用python写个接受数据的script,这 : 样就可以用python的数据库api insert了。 : 谢谢牛牛们的建议。
|
d*******r 发帖数: 3299 | 14 感觉你这个偏简单的 admin/DevPos,python fiber 就够了吧
【在 k****r 的大作中提到】 : 1. 如果想在cluster里面写一个简单的remote写文件的程序,用python+http是不是合 : 适,文件大小是几十M,可能是表的形式。 : 2. 如果是kafka substribe的数据,这样的streaming怎么再remote传给别的node呢, : python+http是否合适。简单的http post可以做到吗? : 谢谢。
|
k****r 发帖数: 807 | 15 非常感谢您的详细讲解。我基本上明白些了。.4上跑个client post data,.3跑个
listen的是吧。
我现在用httplib的 HTTPconnection("http://10.0.0.3:8030")似乎不work,
我想是不是应该是server打开listen才可以post成功呢。
【在 h*i 的大作中提到】 : 你需要在10.0.0.3机器上跑一个python http server(其实就是一个python script), : 让它listen to port 3023。 : python web framework的选项多得不得了,你如果没有复杂需求,就找个比较简单的。 : 比如我前两天用的wheezy.web,据说最快,但好像用的人不多,可能有问题没人回答。 : 不过我也没啥问题,copy paste doc就搞定了。flask好像也是比较简单的那种 : framework,用得人多些。其他的大的framework比如django这种可能要算overkill了。 : 你就用flask好了。
|
k****r 发帖数: 807 | 16 在玩你推荐的wheezy。。。
为啥只有把wheezy下载下来,且我的py script也在下载的wheezy文档下面运行才work,
否则找不到import的packages....
【在 h*i 的大作中提到】 : 你需要在10.0.0.3机器上跑一个python http server(其实就是一个python script), : 让它listen to port 3023。 : python web framework的选项多得不得了,你如果没有复杂需求,就找个比较简单的。 : 比如我前两天用的wheezy.web,据说最快,但好像用的人不多,可能有问题没人回答。 : 不过我也没啥问题,copy paste doc就搞定了。flask好像也是比较简单的那种 : framework,用得人多些。其他的大的framework比如django这种可能要算overkill了。 : 你就用flask好了。
|
l*********s 发帖数: 5409 | 17 rsh/rcp啥更简单些吧,系统自带了都。
RPC
RPC
【在 h*i 的大作中提到】 : 这个得看个人吧,你搞底层的东东搞习惯了,对很多人来说,搞web service要比搞RPC : 容易太多了。python web工具一堆堆的,随便狗一下就可以搞定的东西,为啥要搞RPC : 这种妖哦子。
|
h*i 发帖数: 3446 | 18 哦是么?我不会python的,只能捡我知道的说。不要听我的 :0
【在 l*********s 的大作中提到】 : rsh/rcp啥更简单些吧,系统自带了都。 : : RPC : RPC
|
h*i 发帖数: 3446 | 19 python装东西不靠下载吧?wheezy的文档不是说让你用easy_install么?不用下载,
easy_install装入你的python系统里面。
work,
【在 k****r 的大作中提到】 : 在玩你推荐的wheezy。。。 : 为啥只有把wheezy下载下来,且我的py script也在下载的wheezy文档下面运行才work, : 否则找不到import的packages....
|
l*********s 发帖数: 5409 | 20 不是python,是shell啦。
【在 h*i 的大作中提到】 : 哦是么?我不会python的,只能捡我知道的说。不要听我的 :0
|
h*i 发帖数: 3446 | 21 哦,我以为你在说啥python里面的东东,那是,其实如果就是copy个文件,shell
script最容易。不过他想要个long running server吧。
【在 l*********s 的大作中提到】 : 不是python,是shell啦。
|