Компания «Диасофт» развивает возможности технологической платформы для управления данными Digital Q.DataFlows. Платформа позволяет сократить трудозатраты на подготовку данных.
Специалисты «Диасофт» интегрировали каталог данных с ETL-процессами, что позволило улучшить качество данных, повысить прозрачность и доверие к ним. Каталог данных используется для организации, описания и управления метаданными в едином пространстве, позволяет классифицировать данные и легко их находить.
Теперь достаточно добавить процессор на форму проектирования ETL-процесса и выбрать нужный набор данных из каталога. Платформа автоматически настроит подключение, обработку и загрузку данных и создаст объекты в системе-приемнике, минимизируя ручной труд. Таким образом, ETL-процессы строятся быстрее за счет описанных в каталоге технических метаданных.
Преимущества интеграции каталога данных с ETL-процессами:
- Централизованный доступ к метаданным: каталог данных предоставляет полную информацию об источниках, их схемах и взаимосвязях.
- Автоматизация: автоматическое сканирование источников и обновление информации о структуре данных упрощает настройку ETL-процессов и снижает вероятность ошибок из-за изменений в источниках.
- Отслеживание происхождения данных: автоматическое отслеживание происхождения данных (Data Lineage) позволяет прослеживать полный путь данных от источника до конечного пользователя для анализа результатов обработки данных и диагностики проблем.
- Автоматическое обновление: любые изменения в структуре источников автоматически обновляются в каталоге данных и синхронизируются с ETL-процессами.
Технологическая платформа Digital Q.DataFlows позволяет значительно повысить эффективность управления данными и снизить затраты на их обслуживание благодаря единому доступу к метаданным, возможности отслеживания происхождения данных, автоматизации ETL-процессов и классификации данных.
Технологическая платформа Digital Q.DataFlows входит в экосистему low-code разработки микросервисных программных продуктов Digital Q и включена в реестр российского программного обеспечения (№ 16802 от 01.03.2023).