Парсер сайтов https://docs.python.org/ и https://peps.python.org/.
Собирает ссылки на статьи о нововведениях в Python, переходит по ним и забирает информацию об авторах и редакторах статей. Собирает информацию о статусах версий Python. Скачивает архив с актуальной документацией. Собирает данные обо всех докментах PEP, подсчитывает количество PEP в каждом статусе и общее количество PEP.
- Шаг первый: клонируем репозиторий
git clone git@github.com:Nurbek878/bs4_parser_pep.git- Переходим в папку с проектом
cd bs4_parser_pep- Создаем и активируем виртуальное окружение
python -m venv venv
source venv/bin/activate - Обновляем менеджер пакетов pip
pip install --upgrade pip - Устанавливаем необходимые зависимости
pip install -r requirements.txt- Переходим в папку src/
cd src/python main.py whats-new- статьи по версиям Python (https://docs.python.org/3/whatsnew).python main.py latest-versions- статусы последних версий (https://docs.python.org/3/).python main.py download- загрузка файла документации по последней версии Python (https://docs.python.org/3/download.html).python main.py pep- формирование таблицы со статусами PEP (https://peps.python.org/).
optional arguments:
-h, --help show this help message and exit
-c, --clear-cache Очистка кеша
-o {pretty,file}, --output {pretty,file}
Дополнительные способы вывода данных
Например, для того чтобы запустить парсер в режиме PEP с очистко кеша и с выводом в файл, вводим команду:
python main.py pep -c --output file