Data Engineer

Санкт-Петербург Москва
Постоянная работа
Полная занятость

2 мес. назад

О компании и командеЯндекс Маркет - один из крупнейших мультикатегорийных маркетплейсов, которым ежедневно пользуются миллионы людей. Наши команды помогают покупателям приобретать товары не выходя из дома и получать заказы по всей стране, а партнёрам - развивать свой бизнес, повышая продажи и привлекая новых клиентов.Мы команда инженеров данных, и продукт нашей команды - Data WareHouse (хранилище данных), которое мы строим для нужд бизнес-подразделений. Нашими пользователями являются как руководители Маркета, которым нужна отчётность для принятия решений, так и эксперты в области глубокого анализа данных. Можно утверждать, что все бизнес-подразделения Маркета являются потребителями поставляемых нами данных.Технологически ядро хранилища построено на системах хранения данных YTsaurus и СlickHouse. Разработка процессов ETL идёт на собственном фреймворке, который создан внутри Яндекса.Наше хранилище данных сейчас одно из самых крупных в России - порядка 30 петабайт - и с учётом темпов роста бизнеса оно будет самым большим. Стоит отметить, что к нему предъявляются высокие требования по надёжности, что ставит перед нашей командой далеко не тривиальные задачи, для которых нет готовых решений.Мы ждем, что вы:

Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов
Умеете проектировать DWH: слои, модели хранения данных, процессы ETL
Хорошо понимаете принципы работы распроданных систем Hadoop или YTSaurus, ClickHouse
Умеете выбирать технологии для решения конкретных задач
Знаете основные алгоритмы и структуры данных, особенно используемые в области работы с большими данными
Имеете опыт работы от 3х лет
Имеете работать в командной строке систем Unix-like: Linux, macOS

Будет плюсом, если вы:

Имеете опыт промышленной разработки на C++
Имеете опыт работы в E-com отрасли
Имели опыт решения задач в роли аналитика или опыт управления командой или проектами

Что нужно делать:Принимать конечные сетевые решения по реализации поставок данныхВ это входит проектирование схем поставок данных. Выбор подхода к внесению доработок в витрины за оптимальное время с минимизацией рисков от релизов. Критический взгляд на результат в интересах потребителей данных.Развивать фреймворки обработки данныхПрименяя существующие инструменты работы с данными выделять их недостатки. Продвигать повестку по их улучшению или поиску новых для более эффективного решения задач.Лидировать реализацию сложных технических поставокПонимая алгоритмическую составляющую инструментов находить эффективные решения в том числе упрощая постановку задачиУсловия работыВысокий совокупный доход

Премии каждые полгода для всех, кто успешно прошёл ревью.

Офисы, в которые хочется ходить

Удобные, красивые и технологичные офисы с зонами для работы и отдыха, спортзалами, йога-классами, массажными кабинетами и не только
В офисах есть бесплатные парковки для машин и велосипедов

Расширенная медицинская страховка

9 видов чекапов, телемедицина 24/7, лечение критических заболеваний
Психотерапия - компенсация сессий в «Ясно» и Яндекс Здоровье, психотерапевты в клиниках и офисах
Стоматология - плановые процедуры, профессиональная чистка и приёмы стоматолога-ортодонта
Через год работы можно сделать лазерную коррекцию зрения. После 2 лет в ДМС входит ведение беременности и роды

Компенсируем 80% стоимости ДМС для супругов и детейВозможности для роста

Есть всё, чтобы учиться: внутренняя платформа с 100+ курсами, менторство и программы для руководителей
Оплачиваем участие в профильных конференциях и помогаем подготовиться к публичным выступлениям
Если для рабочих задач нужен иностранный язык, организуем обучение и оплатим 50% стоимости

Жилищная программа

После года работы при соответствии правилам программы можно получить заём с льготной ставкой на покупку жилья или ремонт

Компенсация питания

На бейджике сотрудника есть ежедневный лимит, который можно тратить на еду и напитки в столовых офисов, кофейнях и ресторанах поблизости

Скидки от партнёров

Бейджик Яндекса помогает экономить в самых разных местах: от спортивных магазинов и отелей до груминг-салонов и образовательных курсов

Хабр Карьера

Откликнуться