首页
论坛
未名存档
话题女王
小圈子
马甲追踪
版面排名
流量曲线
水枪排名
发帖量曲线
发帖版面饼图
发帖时间柱图
关于本站
帮助
boards
本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字
访问原贴
Programming版
- 如何快速搜索大量网页?
相关主题
●
如何测试一个网站能同时容纳的最高在线连接
●
Google App Engine
●
谁能科普一下Azure对小公司,创业有没有潜在的帮助?
●
any cloud computing daniu? some baozi for help.
●
有没有什么介绍云计算的书
●
D3這server到底有啥難度?這麼不stable?? (转载)
●
怎么自学cloud/big data programming
●
looking for a technical partner (part-time)
●
运算量较大的web service找哪个VPS?还是自己弄个服务器?
●
我说一句,感觉这里的人有些瞧不起国内的程序员
相关话题的讨论汇总
话题: 网页
话题: 快速
话题: 扫描
话题: 一页
话题: 电脑
进入Programming版参与讨论
1
(共1页)
b******t
发帖数: 4
1
比如一小时扫描1百万网页在家用计算个网络条件下(几台电脑和20兆带宽)。。
v*******e
发帖数: 11604
2
写高级病毒,感染网络上别的电脑,让它们帮忙一起扫描。
【在 b******t 的大作中提到】
: 比如一小时扫描1百万网页在家用计算个网络条件下(几台电脑和20兆带宽)。。
p**r
发帖数: 5853
3
可能性不大,
就算你算法写得好,或者被扫描的网页极其简单。
server response time也有个lag,
一百万网页,平均36ms一页,不可能。
我一台电脑扫2万个网页还扫了3个多小时。
S*A
发帖数: 7142
4
你要扫东西的话,可以去Amazon EC2 开多几个instance来扫。
速度快容易 scale up。当然最后数据来拿出来费点钱,可以用
邮硬盘服务。
家里扫一个 IP 很容易被 BAN。
l******t
发帖数: 55733
5
没代理50ms一页走代理200ms一页
g*******t
发帖数: 7704
6
为啥要快速?
1
(共1页)
进入Programming版参与讨论
相关主题
●
我说一句,感觉这里的人有些瞧不起国内的程序员
●
史上最全!57个Web框架4轮横向对比 (zz)
●
真神,原来amazon cloud的底层就是soa架构
●
baidu offers services similar to EC2 ?
●
Amazon EC2 Q: what's the source ip for security group ?
●
我准备去开一个aws帐户了
●
我老说说魏老师为啥扯谈吧
●
这事情可以到此为止了
●
goodbug短短6行代码7个常识错误
●
春运系统的一个方案(ZT)请大家点评
相关话题的讨论汇总
话题: 网页
话题: 快速
话题: 扫描
话题: 一页
话题: 电脑