gevent 动态添加下载任务的研究

浏览数：30 / 时间：2015年06月08日
最近在做一个站点，需要在网络上收集一些资料。干这活用python很合适，于是就准备用gevent+requests实现一个爬虫。以前曾用gevent抓取过漫画，但那时的url都是先生成的，并非动态添加，所以需要解决gevent的动态添加任务的问题。

普通的gevent下载方式，gevent.pool控制并发，动态添加下载地址

详细：http://blog.plotcup.com/a/82

郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。

标签：

相关文章

随机文章

您可能还喜欢

您可能还喜欢