- request
- bs4
v0.6
v0.6 该代码是用Python程序的爬取小说阅读网中的小说内容,目前只支持爬取《异常生物见闻录》这一版小说。
使用时直接运行Start就可以,程序会直接在D盘建立D:\\Working\\Python\\Practice\\
目录,并爬取相关章节
v0.9
v0.9代码增加了一个CreatDir.py功能,该部分代码是在D盘创建以小说名为名字的文件夹,之后别的部分的代码在此目录下爬取小说的
.html
文件同时该版本中也增加了端点续传功能,运行该代码时,可以自动检测文件中有多少的章节(文件数)之后再继续缓存后续的章节。
v1.0
加入了IP池的使用,IP是从xici网上爬出来的,非常好用,现在爬取的速度大大提升了,非常BT,写完这行代码感觉很开心。