Дата-инженер в команду контента
В команде Иви тебе предстоит:
- Собирать, формализировать и согласовывать с заказчиком(и) требования к продукту;
- Предварительно формировать понимание требуемой инфраструктуры и организации данных;
- Заниматься написанием парсеров (API / Selenium и пр.);
- Выстраивать процессы регулярного сбора данных из внешних источников;
- Заниматься мониторингом качества и валидацией полученных данных;
- Проводить бизнес-анализ полученных данных;
- Формировать инициативы по улучшению эффективности процессов сбора внешних данных.
Ожидания Иви от кандидата:
- Коммерческий опыт парсинга данных не менее 1 года (знание основных подходов, используемых библиотек);
- Коммерческий опыт автоматизации сбора данных и настройки пайплайнов (airflow, informatica, doker, git и пр.);
- Навыки распараллеливания процессов, настройка многопоточности;
- Опыт разработки DWH и формирования витрин данных;
- SQL (написание сложных запросов, оконные функции);
- Умение провести анализ данных и сформировать выводы;
- Умение четко и понятно донести свою мысль.
Сделать Иви еще лучше в ваших руках — примите участие в исследовании Хабра и Экопси по ссылке: https://linkis.pro/it_brand/habr2024