由买买提看人间百态

topics

全部话题 - 话题: redis
首页 上页 1 2 3 4 5 6 7 8 9 10 下页 末页 (共10页)
r**i
发帖数: 1222
1
来自主题: Programming版 - 问个 Redis 的问题
1相当于memcache,2才体现redis value可以是hash的优势。2可以通过hgetall读整个
hash出来,或hget读其中一个value。
h**********n
发帖数: 897
2
来自主题: Programming版 - 大家可以给我说说redis吗
一般都用来做cache……kv store。
不要指望取代mysql或者Cassandra、mongo之类的各色数据库……另外nosql是not only
sql的意思,redis连sql都不支持,所以根本不是nosql……同理mongo……Cassandra
倒是有cql。
后端各种数据存储系统很多,一般准则是,不要追求大而全,不要追求新,当前/一年
内目测够用即可。
w********m
发帖数: 1137
3
来自主题: Programming版 - redis真是神器
redis其实也是persistent的。
d****n
发帖数: 12461
4
只有内存限制,应该没有数量限制。不过redis是单线程,你要是并发的可能有点问题。
a*****1
发帖数: 314
5
如果把所有user 放到一个 hash。这种方法 是不是 通用方法?
序列化 反序列化 开销 没那么大吧?
[在 dynkin (化神奇为腐朽) 的大作中提到:]
:只有内存限制,应该没有数量限制。不过redis是单线程,你要是并发的可能有点问题
c*********e
发帖数: 16335
6
有多线程的redis吗?
a*****1
发帖数: 314
7
谢谢 各位了。
redis 是 单线程的。好像没有多线程的吧。
s*********y
发帖数: 6151
8
Redis是 non blocking. multiplex.足以应付大多数应用 为啥非要多线程
c*********e
发帖数: 16335
9
自己用node.js写一个,应该比redis快吧?
s*****w
发帖数: 1527
10
谢谢,据说redis sorted set 比 list好,是这样吗?
w********m
发帖数: 1137
11
这么重要的infrastructure库,找不到任何替代品。
说明redis的巨大成功。
欧洲人的左逼精神,使他们在开源的贡献非同小可。
s*****w
发帖数: 1527
12
谢谢,据说redis sorted set 比 list好,是这样吗?
w********m
发帖数: 1137
13
这么重要的infrastructure库,找不到任何替代品。
说明redis的巨大成功。
欧洲人的左逼精神,使他们在开源的贡献非同小可。
g*********9
发帖数: 1285
14
这东西不支持分布式. 性能上肯定不行。还没有什么好的。Ignite Cache 支持分布式
,不过太垃圾。 CouchBase和Redis差不多,也很垃圾。性能要求不高,Cassandra就可
以。
c*********e
发帖数: 16335
15
来自主题: Military版 - 成人网站有多大 zz (转载)
【 以下文字转载自 Programming 讨论区 】
发信人: Jadeson (紫昂德帅), 信区: Programming
标 题: 成人网站有多大 zz
发信站: BBS 未名空间站 (Thu Jul 9 19:58:55 2015, 美东)
上网之人,多少都会接触过成人网站。这是一个举世公认的事实。
不过这是一个难以洞察的领域,因为相关数据少之又少。我们知道成人网站都是那些在
互联网上有着超高流量的网站。根据 Google DoubleClick 的 Ad Planner 服务(通过
cookie跟踪网民)显示,全球 Top 500 网站中,就有数十个成人网站。全球最大的色
情网站 Xvideos 每月网页浏览量(Page Views,PV)高达 44 亿,是 CNN 或 ESPN 新
闻网站的 3 倍,是 Reddit 的 2 倍。LiveJasmin 也不小。除了 Google 和 Facebook
等大站,其他网站在YouPorn、Tube8 和 PornHub 面前都是小巫见大巫。
虽然网页浏览量是一个很好的起始点,但它们仅告诉我们某些色情网站比某些非色情网
站要... 阅读全帖
J*****n
发帖数: 4859
16
来自主题: Programming版 - 成人网站有多大 zz
上网之人,多少都会接触过成人网站。这是一个举世公认的事实。
不过这是一个难以洞察的领域,因为相关数据少之又少。我们知道成人网站都是那些在
互联网上有着超高流量的网站。根据 Google DoubleClick 的 Ad Planner 服务(通过
cookie跟踪网民)显示,全球 Top 500 网站中,就有数十个成人网站。全球最大的色
情网站 Xvideos 每月网页浏览量(Page Views,PV)高达 44 亿,是 CNN 或 ESPN 新
闻网站的 3 倍,是 Reddit 的 2 倍。LiveJasmin 也不小。除了 Google 和 Facebook
等大站,其他网站在YouPorn、Tube8 和 PornHub 面前都是小巫见大巫。
虽然网页浏览量是一个很好的起始点,但它们仅告诉我们某些色情网站比某些非色情网
站要受欢迎。40亿的PV,听起来很多,但当我们把那些X站用户实际在做的事考虑进来
,成人网站的大小和规模就有点明朗了。
规模
色情网站和非色情网站的主页区别是访客的平均停留时间。诸如 Engadget 等新闻网站
的平均停留时间是 3 – 6 分钟,大约是是阅... 阅读全帖
c***w
发帖数: 134
17
来自主题: JobHunting版 - 脸家设计题,设计游戏排名系统
我见过的工业届的做法是这样的
用redis cluster管理cluster,其中有hashslot 16384个,hashslot和shard一样,之
后用redis 中的排序集合存数据,存不同的纬度,比如一个区域,城市,州,国家的排
名(leaderboards),或者好友排名等。用redis有一个问题就是,容易丢数据,redis一
般用AOF (persist writes)或者 RDB (snapshot) ,问题是不容易存每一个write。因
为snapshot是没分钟级别的,AOF可以调整成记录所有的writes,但是performance会特
别的差,官方doc不建议用。这时候,需要有个write ahead log之类的东西去记录,所
以不管你自己实现,或者用一些别的工具都可以。比如可以在redis前面放一个kafka。
另一个方向是不用redis,而是用一个牛逼的VoltDB数据库。效果有待检验。
这是我查的资料:
https://stackoverflow.com/questions/27706573/huge-leaderboard-ranking-with-
f... 阅读全帖
d*******r
发帖数: 3299
18
来自主题: Programming版 - 感觉vert.x的设计很一般呀
多谢多谢~~ !!
mongo部分跟我想的一样
Redis学到经验了。
二爷是一点不看好 Redis Cluster 的发展么: http://redis.io/topics/cluster-spec
Redis 真是为数不多支持 transaction 的 NoSQL DB 吧。虽然主要是内存DB,还是很
强大。
你们 message bus 难道就是用的 Redis? 让各个模块去 Redis 里面 pull messages?
我记得你提过 Kafka, 这个做 message queue 可以,做 message bus 是不是弱了点吧。

NOSQL
SQL。
k******a
发帖数: 44
19
来自主题: JobHunting版 - G家店面design题目
这个要求是一个大量读,很少写的案例。
对于并发这么高的要求,10000 qps + 10ms latency, 那么一定得上partition/shard。
我觉得按照dynamo的思路,用consistent hashing做key的partition, 每个node用
Redis + Mysql Engine.
然后可以开始扯consistent hashing, gossip, redis, innodb.
对于key, 根据consistent hashing选择对应node, 再node内,查redis或mysql engine
。redis本身很快,10K qps也可以,但是如果不在redis,mysql engine不会很快。假
定每个shard支持1K qps, 那么需要10个shard. 每个shard有3个node, 每个node支持
333 qps。利用virtual node, 分布30个node到10台服务器。
利用gossip广播membership状态和key space分布。
m****r
发帖数: 51
20
来自主题: Programming版 - ssh tunnel加密的问题
client是要给end user用的,如果end user能看到进入tunnel之前的明文traffic,那就
可以知道redis服务器的密码和关于redis操作的所有命令,谁能保证你的用户不是你的
竞争对手或者是...知道密码连接上redis server,一个命令就可以把redis里的内容全
部清除,那你的service不就是立马玩完了,我现在自己测试,可以用抓包软件看见
client和redis server连接的密码明文和所有命令
z**m
发帖数: 391
21
“有人的地方就有江湖,有江湖的地方就有纷争”。这话不仅适用于现实世界,也适用
于网络世界。
就在前不久,全球三大操作系统之一 Linux 的官方社区就发生了一些纷争,一位暴躁
老哥本着“能动手尽量憋BB”的原则,直接黑掉了网站。
当天,主页上除了挂满绿色的吐槽文字,还盛开着一朵毛茸茸的菊花,令人窒息。
(为了不辣眼睛我决定打个马赛克)
黑掉 linux 网站的技术原理其实不难,就是个典型的 DNS(域名解析)劫持。
一张图,两句话就能讲明白:
(黑客盗走DNS账号密码,把网友带进了沟里)
虽然原理很简单,但表面的冲突永远都只是冰山一角,更深层次的恩怨情仇往往藏在深
海之中。
Linux 官网为何被黑?主页上的菊花图片是何含义?黑底绿字又表达着什么怨念?这一
切是何人所为?是人性的扭曲还是道德的沦丧?本期幺哥试图走近真相,为大家揭开
Linux 社区被黑事件背后的故事与矛盾……
Let's Rock !
1.“碍着我写代码了”
时间回到三个月前。
2018年 9月16日,Linux 的创始人Linus 冷不丁签发了一份名叫“CoC”(Code of
conduct )的行为规范,本意是想... 阅读全帖
p*****2
发帖数: 21240
22
怒赞。貌似是主流startup的标配阿。
你们是拿Redis当cache用,MongoDB存transactional data?
我们的数据分三种,一种需要非常快速的访问,就用Redis, 一种需要很灵活的query,
就用Mongo。现在数据量还不够大,大了以后会考虑上Hbase了。我们没有transaction
。或者说schema设计的适合nosql,不需要transaction了。
另外,据说,node JS的performance不是很好,支持不了访问量很大的网站?
我们不是网站,是service。以前是Ruby的,现在是node。效果比以前好很多。你说支
持不了访问量很多大的网站什么意思?我们的主网站就是node的,没发现有什么问题,
rail都可以,node会不行吗?
然后Redis和MongoDB在cross DC replication上做的不太好?是不是真的啊?
我们redis replication没有cross DC。两个DC个有一个instance。本来这东西就很占
内存,很多时候需要partition。
mongo replicatoin across D... 阅读全帖
d*******r
发帖数: 3299
23
来自主题: Programming版 - 感觉vert.x的设计很一般呀
二爷你说说大项目 redis 和 mongo 的经验吧。现在我小项目用mongo,感觉 noSQL 是
要比 SQL 吃硬盘,吃内存。mongo的坑你们都遇到过哪些?给点调优经验和注意事项吧。
Redis我感觉很好用的样子,我知道有些人直接就用 memory db + snapshot 代替
mySQL 了 (我说的不是用 Redis 当 message bus 那种, 是除了 payment transaction
, 就不用 mySQL 之类了).
还有,Redis cluster 现在发展如何了?
d*******r
发帖数: 3299
24
来自主题: Programming版 - Play2 vs Vert.x 是什么情况?
二爷说说经验吧, 或许你的使用场景多个 Redis 是相互独立的?
如何让整个 Redis cluster 用起来像自然像是一个整体?
Redis 的 cluster 模式一直在开发中,说明 Redis community 也觉得是需要 cluster
模式的.
m***r
发帖数: 359
25
来自主题: Programming版 - Python日报 2015年2月楼
Python日报 2015-02-25
@好东西传送门 出品, 过刊见
http://py.memect.com
订阅:给 [email protected]
/* */ 发封空信, 标题: 订阅Python日报
更好看的HTML版
http://py.memect.com/archive/2015-02-25/short.html
1) 【Python代码优化】 by @爱可可-爱生活
关键词:工具, 库, 数据科学, IPython, 博客, 计算
[文章]《Optimizing Python in the Real World: NumPy, Numba, and the NUFFT》 [
1] 以非均匀快速傅立叶变换(NUFFT)为例介绍面向实战的Python代码优化 ipn: [2]
[1] https://jakevdp.github.io/blog/2015/02/24/optimizing-python-with-numpy-
and-numba/
[2] http://nbviewer.ipython.org/url/jakevdp.github.io/d... 阅读全帖
c***z
发帖数: 6348
26
【 以下文字转载自 DataSciences 讨论区 】
发信人: chaoz (面朝大海,吃碗凉皮), 信区: DataSciences
标 题: OCR job from recruiter - it is interesting but I can't do it, yet
发信站: BBS 未名空间站 (Fri Jun 20 12:25:07 2014, 美东)
If you would be interested please let me know at h******[email protected] as
early as possible.
Job Title: position for Data Scientist for Machine Learning and Natural
Language Processing Experience
Company: BITS
Task 1: Extend NIST Scientific Text Extraction System
Description of Tasks
I. Implement distributed... 阅读全帖
o**********e
发帖数: 18403
27
【 以下文字转载自 Programming 讨论区 】
发信人: goodbug (好虫), 信区: Programming
标 题: Pinterest陶涛:三个教训和三个发展选择
发信站: BBS 未名空间站 (Wed Sep 3 03:19:03 2014, 美东)
http://tech.huanqiu.com/per/2013-08/4307208_2.html
我们作为创业公司总结了一些经验和教训跟大家分享一下:
1、保持简单,这对创业公司来讲非常重要,一个简单的系统出错的可能性就很小
,出错以后解决问题的可能性就变得很大。保持简单我们认为对创业公司来说是非常关
键的问题。
2、我们认为一项技术的超级用户遇到的难度是远远大于普通用户的。我们知道大
家今天都在用一些开元软件,这些开元软件是逐步发展的过程,很多软件在早期并没有
经历过很大的压力测试,在一定的流量基础上他们都工作的非常少,但是超过一定流量
的话都有各种各样的问题。如果你作为超级用户,你可能接触到的问题是前人完全没有
遇到的,你很难在社区里得到任何求助,需要自己读它的代码,去看是不是我能解决,
如果解决不了的话... 阅读全帖
o**********e
发帖数: 18403
28
【 以下文字转载自 Programming 讨论区 】
发信人: goodbug (好虫), 信区: Programming
标 题: Pinterest陶涛:三个教训和三个发展选择
发信站: BBS 未名空间站 (Wed Sep 3 03:19:03 2014, 美东)
http://tech.huanqiu.com/per/2013-08/4307208_2.html
我们作为创业公司总结了一些经验和教训跟大家分享一下:
1、保持简单,这对创业公司来讲非常重要,一个简单的系统出错的可能性就很小
,出错以后解决问题的可能性就变得很大。保持简单我们认为对创业公司来说是非常关
键的问题。
2、我们认为一项技术的超级用户遇到的难度是远远大于普通用户的。我们知道大
家今天都在用一些开元软件,这些开元软件是逐步发展的过程,很多软件在早期并没有
经历过很大的压力测试,在一定的流量基础上他们都工作的非常少,但是超过一定流量
的话都有各种各样的问题。如果你作为超级用户,你可能接触到的问题是前人完全没有
遇到的,你很难在社区里得到任何求助,需要自己读它的代码,去看是不是我能解决,
如果解决不了的话... 阅读全帖
z****e
发帖数: 54598
29
来自主题: JobHunting版 - 王者荣耀 系统设计

也不完全,这里的session有十个人在同时使用这个session
web是一个人一个session,不需要处理并发,区别还是比较明显的
多了一步需要处理并发修改的状态,mmo是几千个人一个session
新浪微博用redis,用redis就增加了一层io,就慢
所以一般都是内存里面一个类来搞
而且一般的web server不支持udp
所以这些东西都要自己实现
最早用php,比如刀塔传奇,结果很慢,受不了
最早是php+mysql,我去
后来mysql换成了redis或者memcache,勉强够用
后来发现erlang有一个actor model,好像很好用
所以现在不少换erlang
暴雪就用了akka,原理类似
我们主张用vert.x
哼哼
r*****s
发帖数: 1815
30
来自主题: JobHunting版 - 问道高频设计题
Basically you should use a distributed sorted set to store the hits. Redis
is much more powerful than most people think (I know a lot of people just
consider it as a giant hashmap)
Either solution 1 or 2 in the following SO answer would work:
https://stackoverflow.com/questions/25706925/how-do-i-implement-temporal-
leaderbords-with-redis
However as a design question, you should also consider persisting the
original
hit data in blob storage so if Redis crashes, you can revive it by replay
the dat... 阅读全帖
r*****s
发帖数: 1815
31
来自主题: JobHunting版 - 问道高频设计题
如果面试官期待这样的答案而不是一个单机的计数器的话
那heaps讲出来就很尴尬了。
当然也怕面试官自己半吊子,就知道个单机计数器,就拿来面试别人。
我觉得可以策略性地先试探一下(也是展示你想要搞定ambiguity的能力),问一下我
们对这个service有多严肃呀,我们是要做一个单机的试验还是要做一个完整的上线方
案啊?


: Basically you should use a distributed sorted set to store the
hits.
Redis

: is much more powerful than most people think (I know a lot of
people
just

: consider it as a giant hashmap)

: Either solution 1 or 2 in the following SO answer would work:

: https://stackoverflow.com/questions/25706925/how-do-i-implement... 阅读全帖
r*****s
发帖数: 1815
32
用redis算的话过程稍微复杂一点,但是还是可以算的,提个想法吧。
首先我觉得24小时的这个尺度,都可以做离线算法了,每次mr算个一小时,将就一下就
行了。
我们来讨论一个15分钟的好了。。。
那么再首先一下,粒度不可能是无限的,我们每分钟总结一次。
起15个ordered set,每次来一个新sample点的时候(全部数据都进来未必能撑住,
redis也就handle
10,000数量级的QPS),就往这15个set里同时写进一条。这15个set,后面14个是未来
14分钟我们要用的,前面一个是当前这一分钟我们用的。
查询的时候,从当前set里面取前500。
每过一分钟,就干掉当前set,启用下一个set,并且添加一个空的set,作为15分钟后
要用的set。
这里cost是搞了点,但是我基本保证这玩意可以用。
如果扩展到24小时的话基本上我们要搭persistent层,做lambda架构了。


: good point!

: 如果题目的要求是,没有fancy的工具可以用,只有简单的key-value store(比如

: Redis)和50台普通PC机器(彼... 阅读全帖
j****g
发帖数: 17
33
来自主题: JobMarket版 - Alibaba全球找华人技术牛人
7月底阿里巴巴集团CTO Jianfeng Zhang会带领技术团队奔赴美国西雅图和硅谷做技术
分享和招聘,欢迎各位同胞们联系我
以下职位期望Master 毕业5年,PhD毕业3年以及以上,具体情况可以case by case!
工程业务团队 资深岗位 关键词
会员平台 资深产品专家 海外经历、用户产品
技术质量 资深测试架构师 技术质量、软件测试、测试框架
技术质量 资深工程效能专家 工程效能、内部协同、效率提升
创新业务&评价 资深技术专家 信用评价、业务架构
数据服务 资深算法专家 推荐系统、广告系统、机器学习,VR等
数据服务 资深数据科学家 NLP、知识图谱等
数据服务 资深数据产品专家 大数据、国际化
营销平台 资深营销交易产品专家 全球化、产品规划
营销平台 资深架构师 电商架构、分布式业务架构
结算&支付平台 资深支付域... 阅读全帖
h******u
发帖数: 428
34
来自主题: NextGeneration版 - 推荐 童谣画集和儿童绘本
好吧我是自卖自夸来着。。。
推荐两本书
Redy and Bluey: Nursery Rhymes 是我画的,童谣(英文)是六个不同作者写的~图
中两个小朋友,中文叫“小蓝宝和小彤妞” 等画多了出中文版~~
这本书很适合小朋友,也是亲子阅读的好选择。电子版中画和诗分页排版,够大够清晰
;纸质版印刷精美,适合小朋友自己翻页阅读。诗画结合,交相辉映啊。。(自卖自夸
起来。。。)
另一本
April and Avery,是我自写自画的童书绘本。主角是小女孩和狗狗,讲述他们之间碰
到的故事和发展的友谊~~也是我和我家狗狗的心路历程哈~~
奔画几幅~~再奔Booker Trailer视频!
二楼来贴链接哈!还请大家多多捧场~~~鞠躬谢谢!!
Redy and Bluey:
April and Avery:
Amazon自出版picture book的心得和经验分享:
http://www.mitbbs.com/article/LeisureTime/1728119_3.html
终于!奔---Redy and Bluey的book trailer(真人在视频里。。。。)
奔好了。。。看官们,... 阅读全帖
h******u
发帖数: 428
35
来自主题: Parenting版 - 奔视频 推荐童谣画集和儿童绘本
先要谢谢上个帖子中作为新作者询问大家对儿童绘本创作的建议。很多ID提了非常有帮
助的建议。再次感谢!只是创作过程需要一定时间,我会慢慢去把好的想法付诸实践!
好了切入正题,那个。。其实我是自卖自夸来着。。。
推荐两本书
Redy and Bluey: Nursery Rhymes 是我画的,童谣(英文)是六个不同作者写的~图
中两个小朋友,中文叫“小蓝宝和小彤妞” 等画多了出中文版~~
这本书很适合小朋友,也是亲子阅读的好选择。电子版中画和诗分页排版,够大够清晰
;纸质版印刷精美,适合小朋友自己翻页阅读。诗画结合,交相辉映啊。。(自卖自夸
起来。。。)
另一本
April and Avery,是我自写自画的童书绘本。主角是小女孩和狗狗,讲述他们之间碰
到的故事和发展的友谊~~也是我和我家狗狗的心路历程哈~~
奔画几幅~~再奔Booker Trailer视频!
二楼来贴链接哈!还请大家多多捧场~~~鞠躬谢谢!!
Redy and Bluey:
April and Avery:
Amazon自出版picture book的心得和经验分享:
http://www.mitbbs.com/ar... 阅读全帖
o**********e
发帖数: 18403
36
【 以下文字转载自 Programming 讨论区 】
发信人: goodbug (好虫), 信区: Programming
标 题: Pinterest陶涛:三个教训和三个发展选择
发信站: BBS 未名空间站 (Wed Sep 3 03:19:03 2014, 美东)
http://tech.huanqiu.com/per/2013-08/4307208_2.html
我们作为创业公司总结了一些经验和教训跟大家分享一下:
1、保持简单,这对创业公司来讲非常重要,一个简单的系统出错的可能性就很小
,出错以后解决问题的可能性就变得很大。保持简单我们认为对创业公司来说是非常关
键的问题。
2、我们认为一项技术的超级用户遇到的难度是远远大于普通用户的。我们知道大
家今天都在用一些开元软件,这些开元软件是逐步发展的过程,很多软件在早期并没有
经历过很大的压力测试,在一定的流量基础上他们都工作的非常少,但是超过一定流量
的话都有各种各样的问题。如果你作为超级用户,你可能接触到的问题是前人完全没有
遇到的,你很难在社区里得到任何求助,需要自己读它的代码,去看是不是我能解决,
如果解决不了的话... 阅读全帖
f**********g
发帖数: 2989
37
来自主题: LeisureTime版 - 奔几个插画配nursery rhymes~
另一本正在筹备的新书中的两首童谣+插画。。Redy and Bluey系列~~
插画我画的,诗是别的作者写的哈~~~之前没有接触太多的nursery rhymes,贴上来大
家看看~~~欢迎拍砖~~
One, two, peek-a-boo
Red, blue, I see you.
Tiny faces behind the leaves,
Skip, jump, trick and tease.
Secret spaces, secret places,
explore among the many mazes.
Stalks and stems-they do bend,
With love and care, we do tend.
One, two, peek-a-boo
Red, blue, I see you.
Redy and Bluey rode a great big whale
With moons for eyes and a giant tail
Across the starlit sky so bright
Dreaming dreams all thro... 阅读全帖
f**********g
发帖数: 2989
38
另一本正在筹备的新书中的两首童谣+插画。。Redy and Bluey系列~~
插画我画的,诗是别的作者写的哈~~~之前没有接触太多的nursery rhymes,贴上来大
家看看~~~欢迎拍砖~~
One, two, peek-a-boo
Red, blue, I see you.
Tiny faces behind the leaves,
Skip, jump, trick and tease.
Secret spaces, secret places,
explore among the many mazes.
Stalks and stems-they do bend,
With love and care, we do tend.
One, two, peek-a-boo
Red, blue, I see you.
Redy and Bluey rode a great big whale
With moons for eyes and a giant tail
Across the starlit sky so bright
Dreaming dreams all thro... 阅读全帖
d********g
发帖数: 10550
39
来自主题: Programming版 - 这次node把python也给干了
举个例子吧:我们用Redis做broker,有些公司是用Redis做内存DB了,加硬盘备份。
Redis就是当一个service用,你能说C占领了web市场?
d********g
发帖数: 10550
40
Node的async优势在于原生。从技术来说LinkedIn这个写Python的并不是很全面,
Python做async用Twisted是需要注意如果夹了标准blocking的库,不做优化的话async
还是会被blocking的库搞得效果大打折扣。不过看样子他们对Python async并没有太多
研究毕竟不是专业做Python的,我在这里补充一下好了,一般是这么几个方案搞:
1. 用Twisted的话,配合Redis,blocking的标准库部分放进queue里去实现异步
2. 用Tornado的话,除了有自带的async HTTP client之类,还有自带的gen(
generator)可以实现挂起、恢复来实现对blocking库的async化,但是这个方案也有缺
点就是无法嵌套,所以也有配合Redis的,目的是用solution弥补原生不足
3. 用gevent的话,monkey.patch_xxx就是用来patch标准库使其blocking变non-
blocking的,有点magic的味道。gevent能够做协程(coroutine,Tornado的generator
也... 阅读全帖
p*****2
发帖数: 21240
41
来自主题: Programming版 - 感觉vert.x的设计很一般呀

?
吧。
不是不看好,是这东西好像挺难产的。Redis本身还是挺好的一个东西,如果build low
latency的service非常有用,就是用起来没有mongo方便,developer要花很多时间折
腾。当然数据量小啥事没有。
我们基本没用message bus。我有一个小的service就是用Redis来搞的。总体的架构是
后台Clojure进行计算把结果放到Redis,Mongo。前台Node直接提取数据。
s**********k
发帖数: 88
42
来自主题: Programming版 - node.js的unavailable
Redis不是async的
我们这里有个组还想把REDIS改成async, multi-threading (for Redis server)
p*****2
发帖数: 21240
43
来自主题: Programming版 - 傻逼太监懂个屁C*

cache
看需求。如果我没记错的话,mongodb可以达到10K/sec, 不过mongo是多线程。而Redis
一个instance的单线程就比mongo要更快。如果上多进程的话,差距就出来了。
mongo比redis易用多了,所以如果性能要求不高的话,应该没啥问题。要求高性能就上
redis吧。
v***e
发帖数: 2108
44
来自主题: Programming版 - 看来couchbase跟mongo是真的干上了
Redis是一个very high performant in memory db, 在caching layer上
和couchbase 差不多,可能还稍微好一点,问题是Redis在其他方面差得太远。
Redis基本上是个open-source project,主要是antirez他在弄吧。
Couchbase, MongoDB,Cassandra这种已经pass这个阶段,更像公司的
成熟产品。
g*****g
发帖数: 34805
45
http://tech.huanqiu.com/per/2013-08/4307208_2.html
我们作为创业公司总结了一些经验和教训跟大家分享一下:
1、保持简单,这对创业公司来讲非常重要,一个简单的系统出错的可能性就很小
,出错以后解决问题的可能性就变得很大。保持简单我们认为对创业公司来说是非常关
键的问题。
2、我们认为一项技术的超级用户遇到的难度是远远大于普通用户的。我们知道大
家今天都在用一些开元软件,这些开元软件是逐步发展的过程,很多软件在早期并没有
经历过很大的压力测试,在一定的流量基础上他们都工作的非常少,但是超过一定流量
的话都有各种各样的问题。如果你作为超级用户,你可能接触到的问题是前人完全没有
遇到的,你很难在社区里得到任何求助,需要自己读它的代码,去看是不是我能解决,
如果解决不了的话怎么办?如果解决了当然是可以去改一下它的代码,如果解决不了的
话,有的时候构架的限制解决不了是很麻烦的问题。
3、新技术往往看上去很美。这个话其实有两层意思,一种是真的看上去很美,如
果看上去不美也不能叫新技术了。第二层意思是往往只是看上去很美,真正用起来并不
美。我们知道一项... 阅读全帖
a****i
发帖数: 1182
46
你说的是票务调度,而我说的是整个12306
12306是从查票到抢票到付款买票再加上退票。只有抢票快,就是最佳方案了?
你觉得分布式就不能做票务调度还是怎么的?我把票都load到redis里行不行?在redis
里做调度行不行?
用redis做replication,你要砸哪台机器?
前端票务机不用去后端数据库机做费时的查找,就能找到和预占据空位…
这不就是好虫和qxz的分布式设计嘛
我不知道你们怎么老想着会去查数据库。起码的cache概念能有吧。
卖票过程中出了问题,因为数据库系统有ACID的支持, 那不还是好虫他们的设计?
T********i
发帖数: 2416
47
其实吧,我这个人确实说话比较直接。我也知道,这么大岁数了,不想改,也改不了了。
直接跟你讲,redis做调度不行。不服你就拿代码出来。给我们讲清楚,加一个redis有
啥用?能起什么正面作用?
我刚才讲了奥卡姆剃刀原则。如无必要,勿增实体。这个原则,我的IoT平台网站上就
有。
另外给你讲,我的方案,不知抢票快,查询更快,退票也是最快,没有之一。
至于付款,我不想说。该咋办咋办,这种能够无限scale out的,我懒的说。

redis
S*******s
发帖数: 13043
48
来自主题: Programming版 - 用数据库做蒙特卡洛模拟的问题
现在先用现场算+redis缓存对付了。redis真神奇啊,有缓存的秒现,没在缓存的即使
现算也不算慢。以后有空再琢磨怎么弄个更漂亮的。
多谢诸位支招。
这个express-redis-cache的内存策略是什么样的?不会不重启就不停地占内存吧?
c***z
发帖数: 6348
49
【 以下文字转载自 DataSciences 讨论区 】
发信人: chaoz (面朝大海,吃碗凉皮), 信区: DataSciences
标 题: OCR job from recruiter - it is interesting but I can't do it, yet
发信站: BBS 未名空间站 (Fri Jun 20 12:25:07 2014, 美东)
If you would be interested please let me know at h******[email protected] as
early as possible.
Job Title: position for Data Scientist for Machine Learning and Natural
Language Processing Experience
Company: BITS
Task 1: Extend NIST Scientific Text Extraction System
Description of Tasks
I. Implement distributed... 阅读全帖
c***z
发帖数: 6348
50
If you would be interested please let me know at h******[email protected] as
early as possible.
Job Title: position for Data Scientist for Machine Learning and Natural
Language Processing Experience
Company: BITS
Task 1: Extend NIST Scientific Text Extraction System
Description of Tasks
I. Implement distributed PDF to image conversion subsystem that converts
pages of scientific articles to individual images.
II. Implement distributed optical character recognition-based text
extraction system ... 阅读全帖
首页 上页 1 2 3 4 5 6 7 8 9 10 下页 末页 (共10页)