Skip to content

GuanLdong/FictionSpider

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

8 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

需求的包

  • request
  • bs4

v0.6

v0.6 该代码是用Python程序的爬取小说阅读网中的小说内容,目前只支持爬取《异常生物见闻录》这一版小说。

使用时直接运行Start就可以,程序会直接在D盘建立D:\\Working\\Python\\Practice\\目录,并爬取相关章节

v0.9

v0.9代码增加了一个CreatDir.py功能,该部分代码是在D盘创建以小说名为名字的文件夹,之后别的部分的代码在此目录下爬取小说的.html文件

同时该版本中也增加了端点续传功能,运行该代码时,可以自动检测文件中有多少的章节(文件数)之后再继续缓存后续的章节。

v1.0

加入了IP池的使用,IP是从xici网上爬出来的,非常好用,现在爬取的速度大大提升了,非常BT,写完这行代码感觉很开心。

About

网站小说内容爬取

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages