爬虫项目仓库
requirement
requests>=2.21.0
beautifulsoup4>=4.8.2
pymysql==0.9.3
1.requestsExample.py 是requests请求网页数据的示例代码。
2.BlogSpider是采用requests+bs4爬取https://gary666.com/learn 的示例代码，其中也包含如何将数据存储到mysql数据库中。
3.douban_spider.py是采用requests+bs4爬取豆瓣top250电影信息的示例代码。