Специалисты
Senior Java Developer с более чем 6 годами опыта в разработке высокопроизводительных распределенных систем и обработке больших данных. Специализируется на работе с Apache Flink, Apache Hudi, Kafka и Spark, оптимизации процессов обработки данных и интеграции решений в облачные платформы. Имеет опыт проектирования архитектуры сервисов, настройки CI/CD и обеспечения безопасности данных. Ориентирован на повышение производительности, оптимизацию затрат и реализацию бизнес-требований. Имеет опыт работы в качестве Tech Lead команды, опыт менторства и руководства разработчиками.
Технические компетенции
• Разработка и оптимизация распределенных систем обработки данных (Apache Flink, Spark, Hudi).
• Интеграция с Apache Kafka для потоковой обработки данных.
• Настройка CI/CD пайплайнов и обеспечение тестового покрытия до 80%.
• Оптимизация логических планов и функциональности state backend (Flink, RocksDB).
• Разработка архитектуры сервисов для банковских и облачных платформ.
• Реализация механизмов безопасности (Kerberos) и аудита (log4j2).
• Интеграция с Databricks Delta Lake для облачных решений.
• Разработка и поддержка REST API, работа с СУБД (PostgreSQL, Redis).
• Написание юнит-тестов и оптимизация использования ресурсов.
• Управление командой, распределение задач.
Языки программирования
Java, SQL, Scala, Python (базовый), Groovy (базовый)
Фреймворки и библиотеки
Apache Flink, Apache Spark, Apache Hudi, Apache Kafka, Spring Framework, Apache Maven, log4j2
Базы данных
PostgreSQL, Redis, HBase, Apache Cassandra, RocksDB
Инструменты
Git, IntelliJ IDEA, Jira, Jenkins, Gerrit, Grafana, Prometheus, Swagger/OpenAPI, Hibernate, Unix-системы, LiquiBase
Протоколы и технологии
REST API, Hadoop, JDBC, RabbitMQ
Методологии
Agile, Scrum
Дополнительно
Unit Testing, CI/CD, Big Data, Software Development
Образование
2024: Новосибирский национальный исследовательский государственный университет,
Факультет информационных технологий (аспирантура)
Иностранный язык
Английский – В2
Китайский – С1
Сбербанк-Технологии
Роль: Разработчик ПО / Tech Lead (70% разработка, 30% управление командой) Краткое описание проекта: Разработка и интеграция сервисов для обработки больших данных с использованием Apache Flink и Kafka. Обязанности: • Проведение сравнительных тестов производительности Spark и Flink на распределенном кластере, определение сценариев использования и необходимых интеграций для Flink. • Интеграция Flink с Kafka для обеспечения потокового источника данных. • Реализация механизма Kerberos для соответствия требованиям безопасности. • Разработка архитектуры решения для предоставления Flink как банковского сервиса. • Реализация плагина log4j2 для Flink для создания формата логов, необходимого для аудита. • Разработка сервиса для подключения аналитиков данных к вычислительным ресурсам (Flink/Trino). • Оптимизация процессов обработки данных и интеграций. • Документирование архитектуры и процессов разработки. • Участие в тестировании и отладке решений. • Управление командой разработчиков, менторство, распределение задач, код ревью. Результаты: • Успешно интегрировал Flink с Kafka, обеспечив стабильную потоковую обработку данных. • Разработал архитектуру сервиса, повысив доступность вычислительных ресурсов для аналитиков. • Реализовал механизм аудита логов, обеспечив соответствие требованиям безопасности
Java 17/21, HBase, PostgreSQL, Spring Data, Sprint Boot, Spring GPA, Minio, Hadoop, Apache Hadoop, Jenkins, Git, Maven, Gradle, Kubernetes, Grafana, Prometheus, LiquiBase, OpenShift, Docker, Testcontainers, Mockito, JUnit, Swagger/OpenAPI, Hibernate, Unix-системы, Groovy, Apache Flink, Apache Kafka, Java, log4j2, Trino, Kerberos
25 месяцев
HUAWEI
Роль: Разработчик ПО Краткое описание проекта: Разработка и оптимизация решений для обработки больших данных на платформах Apache Hudi и Apache Flink. Обязанности: • Настройка CI/CD пайплайна и тестового окружения для обеспечения отказоустойчивости, увеличение тестового покрытия до 80%. • Реализация вторичного индекса, ускорившего обработку данных на 31%. • Интеграция Databricks Delta Lake в облачную платформу Huawei для удовлетворения потребностей клиентов. • Оптимизация логического плана Apache Flink, что увеличило производительность заданий с несколькими источниками на 13%. • Реализация механизма приближенной обработки запросов для сокращения использования пространства. • Расширение функциональности state backend Apache Flink для получения дополнительных данных из RocksDB. • Взаимодействие с командами аналитиков и заказчиков для уточнения требований. • Документирование процессов и технических решений. • Проведение код-ревью и тестирование функционала. Результаты: • Ускорил обработку данных на 31% за счет вторичного индекса в Apache Hudi. • Повысил производительность Flink на 13% и сократил затраты на обработку данных. • Успешно интегрировал Delta Lake, обеспечив поддержку клиентских сценариев
Apache Hudi, Apache Flink, Java, Scala, Databricks Delta Lake, RocksDB, CI/CD, Maven, Git, Redis
55 месяцев
