DWH Developer

ВКонтакте

Москва
Постоянная работа
Полная занятость

30 д. назад

Вам предстоит заниматься разработкой аналитической платформы. Мы стремимся сделать единую точку входа для всей аналитики в VK и ищем нового сотрудника, с которым мы смогли бы это сделать ещё быстрее и успешнее.Мы разрабатываем единый реестр аналитических событий компании, систему доступа к аналитическим данным, систему A/B-тестов. Сервисами уже активно пользуются такие проекты, как Почта, Облако, Маруся, медиапроекты.У нас используется стек Hadoop/Kafka/PySpark/ClickHouse. Для аналитики используются данные размером десятки петабайт. Вам предстоит работать с настоящей BigData.Мы планируем доработать и улучшить существующие сервисы, внедрить их как экосистему в большинство проектов внутри VK, объединить несколько Hadoop-кластеров и многое другое.Задачи

Разработка DWH-платформы;
проектирование схем для хранения данных;
автоматизация загрузки данных из различных источников (как внутренние БД, так и внешние аналитические/маркетинговые платформы и т. д.);
автоматизация data-pipelines, ETL-процессов;
автоматизация построения витрин данных;
организация CI/CD и мониторинга процессов обработки данных;
готовность разбираться в чужом коде;
ревью кода в команде.

Требования

Опыт разработки живых проектов или доработка существующих решений;
опыт DWH-разработки от года, знание Python;
понимание принципов работы классических СУБД;
работа с Linux & Bash.

Будет плюсом

Знакомство и опыт работы с экосистемой Hadoop;
опыт работы с MPP-базами;
опыт организации ETL-процессов обработки данных.

Мы предлагаемГибкий график работыБонусы и скидки от партнеровОфис в центре городаДМСПрофессиональная командаБонусы от партнеровИнтересные задачиФормат работыкомбинированныйУровеньmiddleseniorГрафик работыполныйПочтаКрупнейший и самый популярный почтовый сервис в русскоязычном сегменте. Мы постоянно работаем над новыми технологиями и взаимодействуем с высоконагруженными проектами мирового уровня.Мы предлагаемГибкий график работыБонусы и скидки от партнеровОфис в центре городаДМСПрофессиональная командаБонусы от партнеровИнтересные задачи

ВКонтакте

Откликнуться