2018年做毕业设计的时候在豆瓣爬取了一些书籍

语言python，库scrapy，selenium；有意思的后记，豆瓣有反爬机制：不允许同一个IP非人类请求，刚开始想了买IP地址池，找了售卖方，感觉都有点坑；后来回到家中发现家里的【网通宽带】只要重新拨号就会获取新的IP地址，因此想到了一个解决方案，就是检测到豆瓣不让我爬了我就去重新拨号，然后就可以接着爬了，这个方案是通过selenium实现的；小结：也不完善，最后爬了几千本书籍吧，就够我毕业设计展示使用了。