爬虫scrapy 爬虫问题

Python作为脚本语言功能非常强大,這里介绍一下爬虫框架scrapy 爬虫有安装及使用方法介绍

scrapy 爬虫 shell运行后,我们可借助一些函数进行数据定位、解析、子链接的提取:

通过上面的玳码我们把小说名给抓出来了.同理可以抓其它字段,具体代码如下:

scrapy 爬虫作为一个异步爬虫框架非常容易写出高质量的爬虫,同时scrapy 爬蟲还有很多功能中间件对于设置访问头,图片及文件下载都有相应的方法有兴趣的可以深入研究!

我要回帖

更多关于 scrapy 爬虫 的文章

 

随机推荐