1. scrapy with mongodb

    scrapy用来处理数据(Item)的部分叫做Pipeline 当xx_spider.py中yield一个item,将按照settings.ITEM_PIPELINES的顺序保存数据,其中 12345ITEM_PIPELINES = {# 'xx.pipelines.FirstPipeline': 1,'xx.pipelines.DuplicatesPipeline': 2,'xx.pi …

    于  MongoDB, Scrapy, python 继续阅读