Поисковый запрос
Нажмите Enter для поиска и Esc для выхода

ЮНИВЕРС SmartEtl

Юниверс SmartEtl

Продукт Юниверс SmartETL – эффективный инструмент извлечения и трансформации данных (ETL – Extract Transform Load):

  • Централизованная настройка потоков данных
  • Преобразования моделей данных между различными информационными системами
  • Автоматизация разработки конвейеров данных
  • Гибкие сценарии обработки данных
  • Дополнительные инструменты и интеллектуальные помощники
  • В основе - Apache NiFi
  • Дополнительные модули, расширяющие базовую функциональность и ускоряющие загрузку данных

Умный ETL

Продукт позволяет централизовать поток преобразований информации, когда речь идет о сложной и непрозрачной интеграции различных информационных систем. При этом, возможно добавление связей между различными информационными системами без их доработки, а соответственно, без дополнительных финансовых затрат и с полной поддержкой обратной совместимости. Главные преимущества: управление целыми бизнес-сущностями, а не разрозненными таблицами и файлами, а также возможность реализации сценариев обработки со сложной бизнес- логикой.

Мы не просто разработчики – мы страстно увлечены решением задач, с которыми сталкиваются наши клиенты. Наше решение упрощает управление данными, превращая их в ценный актив для вашего бизнеса, а не в источник хаоса. Доверьте нам организацию ваших данных, чтобы сосредоточиться на том, что действительно важно.

Что под капотом

  • Интеграция с экосистемой платформы Юниверс – широкие возможности при работе с моделями данных в DG (Data Governance), нативная интеграция с MDM, обеспечение качества данных средствами DQ (Data Quality).
  • Гибкие ETL и ELT сценарии NiFi – визуальный интерфейс настройки процессов извлечения и трансформации данных
  • Управление моделями данных – автоматизированное создание, хранение, версионирование, импорт моделей систем источников и потребителей данных, маппинг атрибутов различных моделей в визуальном интерфейсе
  • Интеллектуальные алгоритмы обработки данных – упрощают подготовку и загрузку данных, позволяют в автоматическом режиме определить модель данных источника, выбрать наиболее подходящую модель исходной записи из уже настроенных в системе, выполнять конвертацию форматов
  • Хранение операционных метаданных – возможность сохранения исходных данных, промежуточных состояний и дополнительной служебной информации в процессе обработки
  • Гарантированная доставка – при возникновении внештатных ситуаций, выявлении ошибок, необходимости внести изменения в процесс возможна повторная обработка данных как всего процесса, так и его отдельных шагов без необходимости обращения к системам источникам
  • Готовые интеграционные решения - набор готовых коннекторов и процессоров для российских государственных и промышленных систем
  • Паттерны потоков обработки – коллекция шаблонов сценариев и потоков обработки данных уровня предприятия. Типовые блоки, шаги, состояния, логика, отработка позитивных и негативных сценариев, ошибок и т.д., которые могут быть взяты за основу для упрощения и ускорения работ по настройке потоков данных
  • Контроль качества данных – форматно-логический контроль, интеграция с модулем DQ (Data Quality) для выполнения правил проверки качества и обогащения данных
  • Мониторинг – состояние и загрузка компонент и модулей системы, статистика и статусы обработки сообщений потока данных
  • Логирование – централизованный сбор и отображение логов компонент системы с возможностью фильтрации

интерфейс Юниверс SmartEtl

Загружай и преобразовывай - легко!

Как правило, в организациях данные распределены по множеству корпоративных систем. Это усложняет взаимодействие систем, а проблема решается кастомными решениями. В результате бизнес-пользователи зависят от IT-департамента, где тоже могут копиться проблемы.

Юниверс SmartETL создана для автоматизации процессов сбора, обработки и загрузки данных, что позволяет решить задачи взаимодействия систем. smartETL позволяет объединить все ИС в единое информационное пространство с целью повышения эффективности бизнеса.

Наши преимущества

  • Бесшовная интеграция с семейством продуктов Юниверс
  • Мониторинг, управление, безопасность уровня Enterprise
  • Концепция работы с бизнес-объектами и их моделями
  • Гарантированная доставка сообщений, контроль качества данных
  • Low-code
  • Apache NiFi как основа для выполнения заданий

F.A.Q.
Вопросы и ответы

Продукт решает задачи извлечения данных, трансформации, обогащение и объединение данных из различных источников, доставка качественных данных системам-потребителям
К функционалу NiFi добавляются дополнительные модули, управление моделями данных (хранение, версионирование, маппинги), сохранение исходных данных и операционных метаданных, гарантированная доставка, инструменты упрощающие подготовку и загрузку данных. Паттерны потоков обработки, дополнительные и доработанные процессоры NiFi, интеграция с платформой Юнидата. API для обмена сообщениями с Платформой в динамическом формате в терминах модели данных. Мониторинг, централизованный сбор логов, поддержка SSO
Да, система отлично масштабируется с использованием кластеризации, контейнеризации. Так же возможно управление пропускной способностью и количеством одновременных задач
Да, есть возможность настройки интеграций без программирования, используя визуальный интерфейс и язык логических выражений
Да, SmartETL имеет модульную архитектуру. Отдельные модули обладают программным интерфейсом.
Да. У нас есть очные и онлайн курсы для инженеров.

Наши инструменты

Реестр моделей данных
  • Централизованное ведение моделей и правил конвертации
  • Версионирование
Интеллектуальные алгоритмы
  • Автоматическое определение моделей
  • Автоматическая конвертация и проведение к каноническому виду
Модуль работы с данными
  • Хранение первичных, промежуточных и финальных данных
  • Гарантированная доставка до потребителя
  • Композитные бизнес-объекты
Модуль мониторинга
  • Трассировка данных до получателя
  • Отслеживание и обработка ошибок
Модули обработки данных
  • Нормализация
  • Обогащение
  • Контроль целостности композитных данных
Интеграция
  • Бесшовная интеграция с продуктами Юниверс
  • Готовый коннектор с ИС на базе 1С
Вся документация и обучение на русском языке
Продукт соответствует всем требованиям импортозамещения
ПО в едином реестре российских программ Минкомсвязи РФ
10 000+
строк кода
Это расстояние в шагах, которое человек проходит за один активный день
11
модулей
Больше, чем количество основных систем в современном автомобиле
6
функций в год
Каждая — как новая глава в увлекательной истории, которую мы пишем вместе
10
функций в дорожной карте
Как десять маяков, освещающих наш путь к инновациям
30 000
слов в документации
Это как прочитать небольшую повесть
6000
человеко-часов за последний год
За это время можно было выучить новый язык программирования, но мы выбрали совершенствовать наш продукт!

нас
выбирают