Skip to content

Latest commit

 

History

History
38 lines (24 loc) · 5.49 KB

README.md

File metadata and controls

38 lines (24 loc) · 5.49 KB
Raw

Обработка больших данных

  • Excel_analytics — аналитика данных с визуализацией отчётов в MS Excel.

  • SQL_dev — разработка баз данных в СУБД MySQL с выполнением нескольких разноплановых запросов:

    • создание, обновление и удаление таблиц
    • объединение, пересечение и разность запросов к таблицам
    • получение данных таблиц с первоначальной фильтрацией
    • группировка данных с последующим условием агрегации
    • сортировка итоговых данных таблиц с возможностью получить первые несколько строк результата запроса
    • вложенные запросы к таблицам
    • создание временной таблицы с дальнейшим использованием её данных в основном запросе
    • объединение нескольких таблиц по внешнему ключу.

  • Parsing_photoalbums — разработка собственных скриптов-парсеров фотоальбомов на популярных площадках (VK & Flickr) с локальной загрузкой всех фото и отчётностью загрузки в реальном времени.

Выполнение лабораторных работ в рамках прохождения курса «Технологии обработки больших данных» в Финансовом университете, а также реализация собственных проектов в сфере BigData и обработки данных.

  • Numpy — первичная работа с библиотекой NumPy в рамках изучения массивных структур данных.

  • Pandas — плотное изучение табличных структур (DataFrame) и серий данных с помощью библиотеки Pandas в рамках обработки данных.

  • Files_work — детальный разбор взаимодействия с различными типами файлов посредством библиотек в Python (bs4, requests, urllib, json, xml.etree.ElementTree, shelve, pickle, os) в целях парсинга данных.

  • Tables_work — освоение главного инструмента в Python, позволяющего работать с данными, обрабатывать и получать их в таблицах формата .xlsx (Excel) с использованием библиотек xlsxwriter & xlwings.

  • Visualization — плотная работа над обработкой данных с целью их дальнейшей визуализации (библиотеки matplotlib & seaborn).

  • Strings_work — изучение множества способов обработки строковых данных и дальнейшей работы с ними в тексте (библиотека re & nltk).

  • Nlp_text — обработка данных и текстов на естественном языке при помощи библиотек Python (nltk & sklearn).

  • Profiling — изучение алгоритмов оптимизации кода, анализа скорости и эффектиности его работы через библиотеку Python (numba) и магические функции (%timeit, %time, %lprun -f {name of function} {name of function(parameters)}).

  • Databases_work — взаимодействие с БД (создание структуры БД, вставка данных из файла, извлечение данных из БД) через Python и его специализированную библиотеку (sqlite3).

  • BigData_multiprocessing — плотная работа с большими текстовыми данными в целях реализации распаллеливания процессов в обработке данных посредством собственных алгоритмов и реализованных идей в библиотеке Python (multiprocessing & pandarallel).