Name		Name	Last commit message	Last commit date
Latest commit History 8 Commits
.idea		.idea
qidianscrapy		qidianscrapy
README.md		README.md
main.py		main.py
scrapy.cfg		scrapy.cfg

Repository files navigation

起点小说网爬虫

该爬虫使用Scrapy框架，目前还没有添加IP池和布隆过滤器。

注意事项

使用前请确定Mongodb已安装并打开。
因为起点书城“全部”分类下的书籍在5000页之后就无法爬去爬取，所以本爬虫采用了抓取所有细分分类的页面后再次抓取细分页面的不同页。

使用方法

请直接运行

scrapy crawl qidian

About

起点小说网全站爬虫

Report repository

Releases

No releases published

Packages

No packages published

Languages

Python 100.0%