Скрейпинг магазинов электробытовой и компьютерной техники Казахстана

Работу скрипта можно посмотреть тут:

• Скидки в интернет магазинах Казахстана

Скрипт скрейпит (парсит) сайты и добавляет в БД информацию о товаре. При следующем запуске проверяет продукт, и в случае изменения цены добавляет новую цену в БД. Если цена снизилась на <= 15%, то отправляет на Telegram-канал.

Источники:

• technodom
• mechta
• sulpak
• alser
• shop
• dns-shop
• fora

Установка и настройка

Клонируем репозитории

git clone https://github.com/daradan/parser_tech.git

Устанавливаем библиотеки

pip install -r requirements.txt

Создаем файл .env и заполняем свои данные

TG_TOKEN=...
TG_CHANNEL=@...
#TG_CHANNEL=@...
TG_CHANNEL_PC=@...
TG_CHANNEL_ERROR=...
TECHNODOM_USER_AGENT=...
MECHTA_USER_AGENT=...
MECHTA_APP=...
SULPAK_USER_AGENT=...
SULPAK_NC=mobile-...
SULPAK_USER=...
SULPAK_PASSWORD=...
ALSER_USER_AGENT=...
DNS_USER_AGENT=...
PROXY_USER_AGENT=...

Scraping stores of household appliances and computer equipment in Kazakhstan

You can see how the script works here:

• Discounts in Kazakhstan online stores

The script scrapes (parses) the sites and adds information about the product to the database. At the next launch it checks the product, and if the price has changed, adds a new price to the database. If the price has dropped by <= 15%, it sends to the Telegram feed.

Sources:

• technodom
• mechta
• sulpak
• alser
• shop
• dns-shop
• fora

Installation and setup

Clone repositories

git clone https://github.com/daradan/parser_tech.git

Installing libraries

pip install -r requirements.txt

Create file .env and fill in your data

TG_TOKEN=...
TG_CHANNEL=@...
#TG_CHANNEL=@...
TG_CHANNEL_PC=@...
TG_CHANNEL_ERROR=...
TECHNODOM_USER_AGENT=...
MECHTA_USER_AGENT=...
MECHTA_APP=...
SULPAK_USER_AGENT=...
SULPAK_NC=mobile-...
SULPAK_USER=...
SULPAK_PASSWORD=...
ALSER_USER_AGENT=...
DNS_USER_AGENT=...
PROXY_USER_AGENT=...