OpenDataDiscovery

Знакомьтесь, OpenDataDiscovery — это open-source платформа, которая помогает компаниям наконец-то разобраться в собственных данных и взять их под контроль. По сути, это единый центр для поиска, мониторинга и управления данными (data governance). Инструмент сам находит, где хранятся ваши данные, как они перемещаются между системами (тот самый lineage) и кто за них отвечает. В итоге команда получает удобный поисковик по всем своим активам: от баз PostgreSQL и Snowflake до инструментов машинного обучения вроде Kubeflow и SageMaker.

Главная фишка OpenDataDiscovery в том, что это федеративный каталог. Он не пытается заменить ваши текущие инструменты, а просто объединяет их. Вы подключаете разные источники данных, сервисы проверки качества и даже другие каталоги, а платформа собирает все метаданные в одном месте. Благодаря этому вы получаете автоматическую визуализацию связей, уведомления о проблемах с качеством данных и удобное управление справочниками. Развернуть систему можно через Docker или Kubernetes, а для тех, кто не хочет возиться с установкой, есть бесплатный пробный период облачной версии.

Кому это будет полезно? В первую очередь data-инженерам, data-scientistам и специалистам по управлению данными в компаниях со сложным стеком. Инструмент позволяет мгновенно отвечать на критические вопросы. Например, если «упал» какой-то пайплайн, вы сразу увидите, какие отчеты или модели от этого пострадают. А если кому-то нужен конкретный датасет, его легко найти в каталоге, проверить оценку качества и узнать, к кому обратиться за доступом. В общем, OpenDataDiscovery превращает хаос из разрозненных систем в понятную и структурированную карту.