如何拒绝spider? - BuildingWeb版 - 未名存档

本页内容为未名空间相应帖子的节选和存档，一周内的贴子最多显示50字，超过一周显示500字访问原贴

BuildingWeb版 - 如何拒绝spider?

相关主题
● 新手安装apache后test失败	● Re: [转载] how to transfer parameters between two CGI?
● 弱问题:如何知道search engine robot访问过没有?	● [转载] Perl for programmers(10): A template for CGI file
● 哪位推荐一个静态页面的发布系统？	● Re: 请问.cfm是什么语言做的CGI呀？
● Re: 急...请教：各位听说过自动保存news group Thread的软件	● CGI脚本是什么
● 如何创建ASP页	● CGI
● Re: Is BBS.MIT.edu built with CGI or ASP?	● remote API 's output?
● 技术分析：谈Web数据库访问技术	● perl cgis: how to send back frame webpage?
● 我是怎样维护和制作这个站点的[转载]	● 问问大家，哪里有开放CGI权限的免费主页提供

相关话题的讨论汇总
话题: spider话题: cgi话题: 拒绝

进入BuildingWeb版参与讨论

1

(共1页)

n******t 发帖数: 239	1 我发现spider在一遍一遍地运行我的CGI script，占用了很多资源。如何用简单的办法拒绝spider呢？当然我不希望拒绝spider找我的stat html，但不想它们运行CGI。
w*****g 发帖数: 198	2 write a robots.txt put in something like the following: User-agent: * Disallow: /cgi-bin 【在 n******t 的大作中提到】 : 我发现spider在一遍一遍地运行我的CGI script， : 占用了很多资源。如何用简单的办法拒绝spider呢？ : 当然我不希望拒绝spider找我的stat html，但不想 : 它们运行CGI。
n******t 发帖数: 239	3 Thanks. I'll try that out. 【在 w****g 的大作中提到】 : write a robots.txt : put in something like the following: : User-agent: : Disallow: /cgi-bin

1

(共1页)

进入BuildingWeb版参与讨论

相关主题
● 问问大家，哪里有开放CGI权限的免费主页提供	● 如何创建ASP页
● 我的网页制作观：要那么时髦干吗？	● Re: Is BBS.MIT.edu built with CGI or ASP?
● Help me with a stupid question.	● 技术分析：谈Web数据库访问技术
● 一个perl初级问题	● 我是怎样维护和制作这个站点的[转载]
● 新手安装apache后test失败	● Re: [转载] how to transfer parameters between two CGI?
● 弱问题:如何知道search engine robot访问过没有?	● [转载] Perl for programmers(10): A template for CGI file
● 哪位推荐一个静态页面的发布系统？	● Re: 请问.cfm是什么语言做的CGI呀？
● Re: 急...请教：各位听说过自动保存news group Thread的软件	● CGI脚本是什么

相关话题的讨论汇总
话题: spider话题: cgi话题: 拒绝

未名新帖统计// 7月16日

#	版面	帖数(主题数)
-	全站	4871 (796)
1	Military	3777 (569)
2	Stock	341 (51)
3	Joke	117 (17)
4	History	116 (3)
5	Automobile	100 (9)
6	USANews	55 (9)
7	Midlife	45 (1)
8	Headline	41 (41)
9	Dreamer	33 (13)
10	FleaMarket	32 (20)
11	Living	30 (7)

* 这里只显示发帖超过25的版面，努力灌水吧:-)