Skip to content

01joy/news-search-engine

Repository files navigation

新闻搜索引擎

使用方法

  1. 安装python 3.4+环境(推荐AnacondaMiniconda
  2. 安装lxml html解析器,命令为pip install lxml
  3. 安装jieba分词组件,命令为pip install jieba
  4. 安装Flask Web框架,命令为pip install Flask
  5. 进入web文件夹,运行main.py文件
  6. 打开浏览器,访问http://127.0.0.1:5000/ 输入关键词开始测试

如果想抓取最新新闻数据并构建索引,一键运行./code/setup.py,再按上面的方法测试。

2020.4.5:新增抓取中国新闻网的爬虫程序。先运行./code/spider.chinanews.com.py爬取最近5天新闻(约2500条);然后注释./code/setup.py第38行并运行,自动构建索引。

项目介绍

  1. 和我一起构建搜索引擎(一)简介
  2. 和我一起构建搜索引擎(二)网络爬虫
  3. 和我一起构建搜索引擎(三)构建索引
  4. 和我一起构建搜索引擎(四)检索模型
  5. 和我一起构建搜索引擎(五)推荐阅读
  6. 和我一起构建搜索引擎(六)系统展示
  7. 和我一起构建搜索引擎(七)总结展望
  8. 和我一起构建搜索引擎(八)更新爬虫&修改打分&线上部署

感谢