搜狗蜘蛛

今天收到个邮件,提示空间流量快完了,真可怜啊,得节约着用,把用着玩的其他网站关闭,看了一下日志,搜狗蜘蛛爬去了不少,准备写个robot.txt,发现大家都说搜狗比较流氓,焦躁,直接把搜狗B类地址段屏蔽了

《搜狗蜘蛛》上的一个想法

发表评论

电子邮件地址不会被公开。 必填项已用*标注