Парсинг документация Python с BeautifulSoup4: PEP, версии, обновления, архив с документацией из официальных источников ( https://docs.python.org/3/ и https://peps.python.org/).
В проекте реализован парсинг аргументов командной строки для выбора режима работы программы. Всего доступно четыре режима:
- whats-new (получение списка ссылок на перечень изменений в версиях Python)
- latest-versions (получение списка ссылок на документацию для всех версий Python)
- download (скачивание архива с документацией для последней версии Python)
- pep (получение данных о статусах всех PEP и вывод информации о несоответствиях статусов в общем списке и в карточках отдельных PEP)
Реализована возможность выбора формата вывода:
- стандартный вывод в терминал;
- вывод в терминал в табличной форме (prettytable);
- запись результатов работы в файл .csv.
Настроено логирование - логи выводятся в терминал и сохраняются в отдельной директории logs с ротацией.
- Клонировать репозиторий и перейти в него в командной строке:
git clone git@github.com:STI-xa/bs4_parser_pep
- Cоздать и активировать виртуальное окружение:
python -m venv venv
source venv/Scripts/activate
- Установить зависимости из файла requirements.txt:
python -m pip install --upgrade pip
pip install -r requirements.txt
Вызов справки по доступным аргументам:
python src/main.py -h
Выбор режима работы:
python src/main.py whats-new
python src/main.py latest-versions
python src/main.py download
python src/main.py pep
Доступные опциональные аргументы:
-o {pretty, file}, --output {pretty, file}; - дополнительные способы вывода данных (pretty - табличный формат вывода в терминал, file - запись данных в файл .csv). Стандартный вывод - построчно в терминал. -с, --clear-cache; - очистка кеша. При первом запуске загруженная страница кешируется. Без данного параметра последующие запуски будут обрабатывать данные в кеше.
