Data Quality Engineer

Data Quality Engineer

Data Quality Engineer

Data Quality Engineer

Сербия, Белград

Обязанности

  • разработка и автоматизация DQ-проверок с использованием инструментов Great Expectations и soda-core

  • построение системы автоматического мониторинга и алертинга для контроля качества данных

  • внедрение методологий Data Governance

  • оптимизация процессов управления данными и поддержка процедур повышения Data Quality

  • выявление и устранение проблем с качеством данных, проведение корневого анализа причин, контроль инцидентов

  • сотрудничество с дата-инженерами и аналитиками для определения требований к данным, участие в проектировании процессов сбора и хранения

  • автоматизация процессов очистки и валидации данных

  • участие в разработке и оптимизации ETL/ELT-процессов

  • ведение технической документации и поддержка стандартизации процессов

Требования

  • опыт управления качеством данных и внедрения Data Governance

  • глубокие знания SQL и теории баз данных, опыт работы с PostgreSQL и ClickHouse

  • знание ETL-инструментов и принципов построения DWH и Data Lake

  • опыт работы с Big Data-технологиями: Kafka, Spark, S3

  • знакомство с инструментами обеспечения качества данных

  • навыки работы с инструментами каталогизации и управления метаданными (Open Metadata)

  • понимание концепций CI/CD и DevOps, опыт работы с Git, Docker, Kubernetes

  • знание методов моделирования данных: Data Flow Diagram, ER-моделирование

  • опыт разработки технической документации и стандартизации процессов

Будет плюсом

  • опыт работы с методологиями моделирования данных: Data Vault, Anchor Modeling

  • знакомство с BI-инструментами и средствами визуализации данных: Tableau, Superset

  • опыт работы с MDM-системами и инструментами управления метаданными

  • стек: Kafka, S3, Iceberg, Spark, ClickHouse, PostgreSQL, ELK, Grafana, Tableau

Что мы предлагаем

  • помощь с релокацией в Сербию, визовое сопровождение сотрудника и членов семьи

  • завтраки и обеды в офисе за счет компании

  • работа в русскоязычной команде

  • современный подход к управлению процессами, временем и задачами

  • отсутствие лишней бюрократии и возможность реализовывать свои идеи