Автор и ведущий лабораторных работ по ИТ
Systems Education
- Владивосток, Приморский Край
- 20 000-80 000 руб. в месяц
- Постоянная работа
- Полная занятость
Зачем это надо - при проектировании систем нужен определенный кругозор технологий. Технологий очень много разных, поэтому взять и за один присест их изучить невозможно. Нужно понемножку, но регулярно.Каждая лаба посвящена одной какой-то технологии. Базовый размер - 4 часа. Размер учебной группы 8-16 человек.Ожидания от кандидатаВы не боитесь разбираться в технологиях, имеете профессиональный опыт как внедренец, разработчик, администратор, тестировщик или аналитик.Условия работы
- Полностью дистанционная работа.
- Занятия по выходным на выбор - суббота или воскресенье.
- Оплата 20 тр за проведённую лабу по договору с самозанятым или ИП.
2. Debezium - организация CDC (Change Data Capture) для потоковой передачи изменений в БД.
3. Apache Flink - обработка потоковых данных в реальном времени.
4. Apache Kafka - построение событийных шиной и работа с потоками событий.
5. Kafka Connect - интеграция внешних систем и построение ETL-процессов.
6. Apache Airflow - автоматизация, планирование и управление задачами (data pipelines).
7. ClickHouse - аналитические СУБД для высокопроизводительной обработки данных.
8. Elasticsearch + Kibana - организация поиска и визуализация данных.
9. Prometheus + Grafana - мониторинг и построение дашбордов систем.
10. Docker Compose - развертывание многокомпонентных систем в контейнерах.
11. Kubernetes - оркестрация микросервисов и управление контейнеризированными приложениями.
12. OpenAPI Generator - автоматическая генерация кода и документации на основе спецификаций.
13. Apache Camel - интеграция корпоративных приложений, построение маршрутов сообщений.
14. gRPC - проектирование и реализация высокопроизводительных RPC-интерфейсов.
15. Redis Streams - работа с потоками данных и очередями сообщений в Redis.
16. Consul или etcd - сервис-дискавери и управление конфигурациями.
17. Grafana Loki - сбор, хранение и анализ логов.
18. Istio - сервис-меш для управления, мониторинга и безопасного взаимодействия микросервисов.
19. Keycloak - реализация централизованной аутентификации и авторизации (IAM).
20. Argo Workflows - построение и управление CI/CD процессами на Kubernetes.Примеры заданий на лабы1. Apache NiFiЗадание:
Настройте простой поток интеграции данных с помощью Apache NiFi: реализуйте загрузку данных из CSV-файла, преобразование формата и отправку результата в REST API. Используйте стандартные процессоры NiFi для чтения, трансформации и отправки данных.Ожидаемые результаты:
- Участник создал и настроил поток данных в визуальном редакторе NiFi.
- Научился использовать базовые процессоры (GetFile, ConvertRecord, InvokeHTTP).
- Реализовал базовую трансформацию данных (например, преобразование формата CSV→JSON).
- Отладил процесс передачи данных через API и убедился в успешной доставке.2. DebeziumЗадание:
Разверните связку Debezium + Kafka для организации Change Data Capture: настройте мониторинг изменений в таблице PostgreSQL и передачу этих изменений в Kafka-топик. Для проверки создайте тестовую таблицу, выполните несколько операций изменения данных (INSERT, UPDATE, DELETE).Ожидаемые результаты:
- Участник развернул необходимые компоненты (PostgreSQL, Kafka, Debezium Connector).
- Настроил Debezium на отслеживание изменений в выбранной таблице.
- Продемонстрировал получение событий изменений в Kafka-топике.
- Описал возможные сценарии применения CDC в реальных проектах.3. Apache FlinkЗадание:
Реализуйте обработку потоковых данных с помощью Apache Flink: настройте чтение данных из Kafka, реализуйте простую агрегацию (например, подсчёт количества событий по определённому критерию за минуту) и сохраните результаты в ClickHouse или другую СУБД.Ожидаемые результаты:
- Участник развернул Flink и подключил его к Kafka и целевой СУБД.
- Реализовал Flink job для обработки и агрегации данных в реальном времени.
- Проверил корректность передачи агрегированных результатов в хранилище.
- Получил базовые навыки построения потоковых обработчиков событий.В отклике указывайте пожалуйста, какую тему вам интересно вести (можно предложить свою).
Хабр Карьера