Python作为脚本语言功能非常强大,這里介绍一下爬虫框架scrapy 爬虫有安装及使用方法介绍
scrapy 爬虫 shell运行后,我们可借助一些函数进行数据定位、解析、子链接的提取:
通过上面的玳码我们把小说名给抓出来了.同理可以抓其它字段,具体代码如下:
scrapy 爬虫作为一个异步爬虫框架非常容易写出高质量的爬虫,同时scrapy 爬蟲还有很多功能中间件对于设置访问头,图片及文件下载都有相应的方法有兴趣的可以深入研究!