Мой первый опыт в парсинге сайтов. Эта программа создана для выбора гитары. С помощью неё можно загрузить себе на компьютер около 3000 гитар, чтобы выбрать любую для покупки.
Нужно скачать весь код и запустить main.py
При этом на компьютере должен быть установлен Python, а также все импортируемые библиотеки.
У программы есть небольшое оформление в виде консольного меню, где вы можете получить информацию о гитарах с одного сайта или сразу со всех. Также есть возможность изменить настройки поиска.
upd. С недавнего времени у GuitarParser есть также своё приложение, в котором можно намного удобнее выбирать инструмент. Её можно запустить, открыв guitarparser.py. Шрифт может работать некорректно, так как я использовал необычный шрифт - Intro, его легко можно скачать.
Здесь я опишу некоторые функции, которые удалось реализовать в парсере:
- Конфиг с настройками поиска
Для каждого магазина можно задать предельную стоимость гитары, чтобы отобрать только подходящие
- Разный подход к разным сайтам
Большинство сайтов используют requests + beatifulsoup4
Однако есть и такие, к которым пришлось подступаться с помощью selenium-stealth
- Удобное скачивание
Скачивание гитар производится в папку markets/название_магазина
Каждая гитара имеет фото, название, цену, описание, ссылку на товар и на фото
- Асинхронный подход
Благодаря asyncio, а также aiohttp реализовано асинхронное скачивание для всех парсеров
Кроме, разве что, тех, которые используют selenium
- Gui-интерфейс
С помощью новой для меня библиотеке tkinter я реализовал гуи интерфейс для своей
разработки.
Сейчас в репозитории хранится версия консольного проекта - main.py и версия с gui-интерфейсом - guitarparser.py
После выхода оболочки GuitarParser обрёл версию номбер 2.
Единственным разработчиком этого проекта является Станислав Устенко.
Все мои дальнейшие разработки вы можете найти на аккаунте гитхаба, а чтобы проследить за процессом реализации новых, подписаться на мой телеграмм канал - https://t.me/+lM49VObwJ_RiNDli
Связь со мной - https://t.me/murmyau_date