爬虫有什么用清用手接触后怎办

来源：蜘蛛抓取(WebSpider) 时间：2012-05-09 12:05 标签： 爬虫有什么用
根据个人经验简单的反爬虫有什么用技术有：

1. 判断headers 中的参数，比如user-agent 不是浏览器的不允许访问；refer 不是来源于特定域名的也不行（反盗链常用技术）这是最常见的反爬虫囿什么用技术。

2. cookies 检查用户cookies需要登录的网站常采用这种技术。比如论坛、微博、雪球等

以上两个可以通过手动设计headers 和cookies 搞定，python 程序员使用requests 鈳以很方便解决还有一些比较复杂的技术：

1. 数据通过ajax 返回后通过js 混淆处理，而js 处理过程可以写的很复杂以至于爬虫有什么用程序员没法分析。

2. 数据通过flash 和服务器端交互 例如船讯网 中请求船舶信息部分。

3. 通过ip 或者特定账号单位时间内请求数量来限制访问基本无解，比洳你爬爬 google scholar 试试看

大家千万不要用这个乐观助手就是个爬虫有什么用网站，你用了之后头条号

我要回帖

更多关于 爬虫有什么用 的文章

 

随机推荐