b******y
发帖数: 9224 | 1 百度搜索结果不公正，早有耳闻。最近看到消息，"百度门"事件。国内几大网站都开始
屏蔽百度。
国内的很多草根站长，都有被百度K掉的经历。没有理由(除非那些真正有毒的)， 数据
原创，竟然莫名其妙K了, 没有作弊，没有做任何友情链接，站上完全是无马，无弹窗.
这是百度过分追求商业利益导致的结果。不过，也难怪这样做。百度是上市公司，要为
share holder负责。而国内虽然人多，但付费搜索市场还太小。
总之，看来国内的无序竞争还是很激烈的。
一点感想了。 |
i***c
发帖数: 301 | 2 technically you can't block search engine,robot.txt is nothing |
g********g
发帖数: 2172 | 3 You can block IPs.
【在 i***c 的大作中提到】
: technically you can't block search engine,robot.txt is nothing
|
h*s
发帖数: 322 | 4 那难道不能在服务器上拒绝你的爬虫么？
【在 i***c 的大作中提到】
: technically you can't block search engine,robot.txt is nothing
|
I*****y
发帖数: 6402 | 5 technically you are right. But with an appropriate robots.txt, you can stop
search engine indexing your websites.
【在 i***c 的大作中提到】
: technically you can't block search engine,robot.txt is nothing
|
b******y
发帖数: 9224 | 6
这个我明白。其实，只要是网上的东西，人家能够看得到的，技术上是无法屏蔽的。可
能楼上没有明白我的意思。
我说的屏蔽，是robots.txt文件。这个是网上的成文规矩。robots.txt是防君子不防小
人，但如果打破规矩，后果就是对方可以告你，然后，你就完了。
原先，craigslist就屏蔽了一些搜索引擎，就是这样干的。你可以看看他们的robots.
txt, 其中有名堂的。
【在 i***c 的大作中提到】
: technically you can't block search engine,robot.txt is nothing
|
m*******u
发帖数: 26 | 7 who told you robots.txt is nothing? There is potential legal issue involved
if you violate robots.txt. So those big companies usually are very cautious
about this.
【在 i***c 的大作中提到】
: technically you can't block search engine,robot.txt is nothing
|
O*******d
发帖数: 20343 | 8 A server can refuse request from a search engine if that search engine's IP
address is known.
【在 i***c 的大作中提到】
: technically you can't block search engine,robot.txt is nothing
|
b*********d
发帖数: 139 | 9 所以就要不停地换ip
IP
【在 O*******d 的大作中提到】
: A server can refuse request from a search engine if that search engine's IP
: address is known.
|
G*****o
发帖数: 315 | 10 百度活该。
它不光是只顾利益。挣黑心钱。把付费网址和SERP混在一起。欺骗用户。竞价排名的
conversion rate 极低。 |
I*****y
发帖数: 6402 | 11 真是笑话。再说了百度和GOOGLE有好多好多台服务器，每台服务器都有不同的IP
【在 b*********d 的大作中提到】
: 所以就要不停地换ip
:
: IP
|
b******y
发帖数: 9224 | 12 呵呵，看来需要开设个search engine technology 101... |
