- 功能:使用celery实现分布式异步任务,redis为broker,输入经纬度范围、关键词、缩放比例,爬取google地图商家信息: 名称、评价数、评分值、地址、电话
- 环境: python3, celery, redis, BeautifulSoup, selenium
- 文件说明:
main.py
:- 根据步长获取区域范围经纬度,创建异步任务
celery_config.py
:- 配置celery信息
tasks.py
:- 具体任务:
- 配置Selenium WebDriver
- 构建谷歌地图搜索URL并打开
- 使用BeautifulSoup解析HTML并提取相关信息
- 结果返回
- 具体任务:
test.py
:- 单独的测试文件
- 说明:这种数据爬取类任务,除了celery实现, 还可用多线程实现, 本例实现了商家、评价数、评分值数据抓取, 地址电话还没实现, 分析了下地址和电话存在于js中, 不在html的元素中, 可能需要别的方法实现, 有待深究
- celery worker运行:
celery -A tasks worker --loglevel=info
- sender运行:
python main.py
-
Notifications
You must be signed in to change notification settings - Fork 0
Fmaj7/google-map
Folders and files
Name | Name | Last commit message | Last commit date | |
---|---|---|---|---|
Repository files navigation
About
No description, website, or topics provided.
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published