b********r
发帖数: 620 | 1 我现在的小公司正在一个痛苦的从.net到open source的转换过程。作为一个
prototyping的小项目，我们想把一个.net的console app改成一个workflow based的
web service。比如，把所有的business processing logic放在一个专门处理business
的web service里面，然后再新建一个flow control workflow来专门负责如何控制在不
同的business processing logic steps（就像一个finite state machine)执行。就像
一个很简化的Amazon Simple Workflow那样。
大家有没有什么好的建议如何实现这样一个很简化的Amazon Simple Workflow的东西？
或者有没有什么open source的projects我们可以借鉴？ |
z*******3
发帖数: 13709 | 2 先说说你们选了什么open source的工具吧
这样别人没法说，因为python，ruby, groovy, java都能做
都有workflow engine，你先说说你们打算用什么来替换.net吧
这样再从相关语言使用者中找建议
比如python 你可以问问公孙大神
我们用java的，我用过red hat的jbpm
很难用，ibm的work flow好用是好用
要钱，work flow engine还有web service很难说有什么统一的标准
所以这种碎片化的平台导致每一次整合都是非常痛苦的 |
b********r
发帖数: 620 | 3 主要原因是我软的东西花钱，比如什么sql server之类的，死贵死贵。而且现在发现不
仅贵，而且peformance wise好像有点跟不上了。打个比方，有的case最大可能处理快
30 million的用户的数据（还在研发阶段，没上prod）。就是每个用户只有10种情况要
处理，那也是300 million的级别。按照现在的处理速度，一天都不够。
我们打算走java/hadoop/storm路线。jbpm我看了下，是怎么个难用？有没有人用过
oozie，号称专门为hadoop打造，但是也可以implement其他的action node，比如call
out to other web service on http.
【在 z*******3 的大作中提到】
: 先说说你们选了什么open source的工具吧
: 这样别人没法说，因为python，ruby, groovy, java都能做
: 都有workflow engine，你先说说你们打算用什么来替换.net吧
: 这样再从相关语言使用者中找建议
: 比如python 你可以问问公孙大神
: 我们用java的，我用过red hat的jbpm
: 很难用，ibm的work flow好用是好用
: 要钱，work flow engine还有web service很难说有什么统一的标准
: 所以这种碎片化的平台导致每一次整合都是非常痛苦的
|
p**r
发帖数: 5853 | 4 3千万用户数据，3个亿状态不算多。
MS SQL可以应付得了，主要是看怎么处理的。 |
k**********g
发帖数: 989 | 5
business
你这是 distributed processing， workflow 通常指 business process management。
You will need to focus on profiling, benchmarking and optimizing the code,
whether or not you intend to scale horizontally (on multiple machines). It
is a necessary step, because when you scale horizontally you will need to
know how to partition the data, the computation, and the IO. You would have
to do this regardless of your choice of language.
【在 b********r 的大作中提到】
: 我现在的小公司正在一个痛苦的从.net到open source的转换过程。作为一个
: prototyping的小项目，我们想把一个.net的console app改成一个workflow based的
: web service。比如，把所有的business processing logic放在一个专门处理business
: 的web service里面，然后再新建一个flow control workflow来专门负责如何控制在不
: 同的business processing logic steps（就像一个finite state machine)执行。就像
: 一个很简化的Amazon Simple Workflow那样。
: 大家有没有什么好的建议如何实现这样一个很简化的Amazon Simple Workflow的东西？
: 或者有没有什么open source的projects我们可以借鉴？
|
k**********g
发帖数: 989 | 6
你看一下 Amazon Simple Workflow Service 的 Limits ，就知道不是你想像的那种用
途。
http://docs.aws.amazon.com/amazonswf/latest/developerguide/swf-
【在 b********r 的大作中提到】
: 主要原因是我软的东西花钱，比如什么sql server之类的，死贵死贵。而且现在发现不
: 仅贵，而且peformance wise好像有点跟不上了。打个比方，有的case最大可能处理快
: 30 million的用户的数据（还在研发阶段，没上prod）。就是每个用户只有10种情况要
: 处理，那也是300 million的级别。按照现在的处理速度，一天都不够。
: 我们打算走java/hadoop/storm路线。jbpm我看了下，是怎么个难用？有没有人用过
: oozie，号称专门为hadoop打造，但是也可以implement其他的action node，比如call
: out to other web service on http.
|
b********r
发帖数: 620 | 7 谢谢大牛们的指教！
更多的背景：我们知道workflow和处理大量数据是相关但是不一样的东西。我们现在有
2个console app，小app的数据量不大，大app的数据量可以超过300m。我们想从小app
入手，先改成workflow based的。如果效果不错，再处理大量数据的。在这其中，因为
大app的数据量大，我们想尽量找到一个比较支持处理大数据量的workflow产品。
比如说，如果一个workflow支持并行的create和run至少几十万甚至上百万的workflow
item/instance，我们就会比较倾向这样的workflow。如果只能并行的支持一千个左右
的item/instance我们就会另外考虑。
目前还没有horizontal partition，数据库也没有sharded。
【在 k**********g 的大作中提到】
:
: 你看一下 Amazon Simple Workflow Service 的 Limits ，就知道不是你想像的那种用
: 途。
: http://docs.aws.amazon.com/amazonswf/latest/developerguide/swf-
|
