FORESIGHT Pro

Tibero ProSync

 

1. Введение - немного о репликации данных

С каждым днем объемы хранимых и обрабатываемых данных в мире возрастают. Скорость роста хранилищ и баз данных также имеет тенденции к повышению. Вместе ростом объемов данных растут и риски организаций, владеющих данными – данные надо хранить, обрабатывать, причем делать это желательно быстро, безопасно и по возможности с минимальными затратами. Всё чаще организации внедряют дисциплину и процессные подходы управления рисками. Одним из решений для сохранения доступности, безопасности и целостности данных является репликация данных.

Репликация данных – это создание актуализируемых «реплик» (клонов, копий) существующих хранилищ данных. Наличие таких реплик позволяет снизить нагрузку на сервер основной СУБД и равномерно либо по особому алгоритму распределить запросы между серверами-копиями. Реализовав репликацию, организации получают снижение рисков по утере данных, повышение скорости доступа к данным и другие преимущества.

 

2. Tibero ProSync – средство репликации данных

Tibero ProSync это эффективное интегрированное решение корейской компании TmaxSoft, отвечающее за обеспечение целостности и доступности корпоративных платформ данных, интегрируя данные, расположенные в распределенных хранилищах. 

Tibero ProSync – это решение для репликации данных между серверами баз данных в режиме реального времени. ProSync извлекает данные, которые должны быть реплицированы, с использованием информации из логов баз данных, что позволяет минимизировать нагрузку и влияние процесса репликации данных на всю систему, включая исходную и целевую базы данных. Подобный подход дает существенное преимущество технологий ProSync перед распространенными методами ETL (Extract/Transform/Loading). Измененные данные могут быть полностью или выборочно скопированы на работающие корпоративные системы в режиме реального или полу-реального времени.

Извлеченные с помощью ProSync данные становятся гибкими и могут быть легко адаптированы под нужды и требования Заказчика. ProSync имеет встроенные алгоритмы обеспечения целостности, сохранности и безопасности данных в случае форс-мажоров разной природы. Поддержка мульти-процессорной архитектуры позволяет ProSync быстро и эффективно реплицировать большие объемы данных. Tibero Prosync реализует удобный для пользователя подход к репликации данных, инструмент может быть адаптирован под нужды Заказчика с эффективным использованием финансовых и человеческих ресурсов. 

 

 

3. Ключевые возможности и основные функции Tibero ProSync

 

3.1. Как происходит репликация данных с Tibero ProSync

 

 

Рисунок 1. Репликация данных с Tibero ProSync

 

Исходная система:

  • Исходные данные хранятся в исходной БД и обрабатываются с помощью OLTP в реальном времени
  • Поддерживаются разные СУБД, например, Oracle и Tibero
  • Поддерживается извлечение данных без остановки системы (даже в случае Oracle RAC)
  • Извлечение данных в режиме реального времени или в близком к реальному времени режиме

 

Система ProSync:

  • Извлечение измененных данных из исходной системы, преобразование данных
  • Простое управление состояниями операций над всей системой через удобный графический интерфейс
  • Управление мета-данными для извлечения данных из конкретных таблиц
  • ProSync может работать в соответствии с текущей нагрузкой исходной или целевой системы (можно обеспечивать дополнительную эффективность и производительность серверов исходной/целевой БД для сред обработки больших объемов данных без увеличения накладных расходов)

Целевая система:

  • EDW, Batch, DR и пр., извлеченные из исходной СУБД, преобразуются в измененные данные для целевой системы
  • Тип целевой системы не важен, т.к. есть поддержка SAM файлов
  • Настройки эксплуатации могут быть одни и те же для множества целевых систем

 

Поддерживаемые технологии:

 

 

 

Рисунок 2. Поддерживаемые технологии

 

 

3.2. Основные функции 

 

 

 

Рисунок 3. Коротко о возможностях Tibero ProSync

 

 

3.3. Ключевые возможности

  • Обмен данными в режиме реального времени
  • Выбор всех строк с изменившимися столбцами
  • Автоматическое извлечение обновлений для схемы целевой базы данных
  • Минимизация воздействия репликации на исходную базу данных путем  минимизации использования дисковых ресурсов
  • Поддержка широкого набора технологий для преобразования извлеченных данных
  • Поддержка фильтрации на уровне сессий (имен приложений) с точки зрения приложений
  • Поддержка автоматического исправления ошибок
  • Поддержка мониторинга

 

 

4. Подробнее о возможностях Tibero ProSync

Рассмотрим подробнее некоторые возможности, предоставляемые продуктом Tibero ProSync.

 

 

4.1. Извлечение и фильтрация измененных за сессию данных

  • Захват измененных данных (CDC) для извлечения только определенных ячеек таблиц
  • Упорядочивание извлекаемых записей в соответствии с записями в коммите
  • Управление мета-данными для извлечения целевого репозитория

 

 

4.2. Фильтрация сессий

  • Фильтрация осуществляется на уровне сессий (по имени приложений) с точки зрения приложений (Рисунок 4)
  • Фильтрация сессий применяется в процессе преобразования информации для получения данных о транзакции, проводящейся конкретным приложением
  • Гибкие настройки фильтрации столбцов и таблиц для крупных транзакций

 

 

 

Рисунок 4. Фильтрация сессий с Tibero ProSync

 

 

4.3. Обеспечивает оптимальную производительность даже во время обработки крупных массивов данных

  • Быстрое восстановление данных, основанное на мульти-процессорной архитектуре
  • Предоставление оптимальной производительности при использовании Tiber Active Cluster (TAC) или Oracle Real Application Cluster
  • Работа с записями логов для репликации и синхронизации данных, что позволяет минимизировать нагрузку как на исходную, так и на целевую базу данных

 

 

4.4. Обеспечивает сохранение целостности реплицированных данных в случае форс-мажора

  • Автоматическое срабатывание в случае сбоев и критических ситуаций без вмешательства пользователей или администраторов с помощью средства распределенного управления серверами Horde Service Provider 
  • Гарантия сохранности и доступности данных благодаря использованию технологий зеркалирования данных на многие хранилища

 

 

Рисунок 5. Безопасность данных

 

 

4.5. Предоставляет гибкие функции обмена данными и удобства

  • Правила мапирования позволяют гибко настраивать определения соответствия, конвертацию и перенос данных
  • Работа с SAM файлами
  • Минимизация ручной работы с помощью операций DDL на исходной БД
  • Графический интерфейс предоставляет всю необходимую для пользователя информацию
  • Фильтрация по областям использования при работе с большими объемами данных
  • Встроенные скрипты автоматического накатывания обновлений на целевые БД
  • Централизованная консоль управления системой репликации данных

 

 

4.6. Двусторонняя синхронизация в реальном времени Active-Active

Tibero ProSync поддерживает двустороннюю синхронизацию кластерных систем в режиме реального времени с сохранением статусов кластеров Active. Для этого необходимо установить Tibero ProSync на все сервера, после чего продукт извлечет необходимую информацию о данных из redo логов каждого кластера, и установится двусторонняя синхронизация. Синхронизация осуществляется автоматически с помощью прямого SQL ввода данных через стандартный интерфейс (Рисунок 6).

 

 

Рисунок 6. Синхронизация в режиме реального времени

 

 

4.7. Автоматическая синхронизация

Одна из главных технологий, используемых в ProSync – автоматическая синхронизация DDL. При изменении схемы таблицы исходной базы данных происходит автоматическая синхронизация и схема таблицы целевой базы данных подвергается такому же изменению.

Tibero ProSync отслеживает изменение схем таблиц. Например, при добавлении колонки в таблице исходной базы данных продукт замечает изменение и обновляет схему в соответствующей таблице целевой базы данных - происходит автоматическое добавление колонки (Рисунок 7).

 

 

Рисунок 7. Автоматическая синхронизация изменений в таблицах

 

При создании новой таблицы в исходной базе данных ProSync инициирует создание такой же таблицы в целевой базе данных и поддерживает синхронизацию данных таблиц (Рисунок 8).

 

 

Рисунок 8. Автоматическая синхронизация таблиц

 

 

4.8. Маскирование и выборочная синхронизация

В число важных технологий, реализуемых ProSync, входит маскирование данных и отслеживание изменений схем данных. Можно синхронизировать только избранные колонки таблиц или изменения имени таблиц, изменения схемы таблиц – таких, как добавление колонок. Инструмент предоставляет возможности определения решений коллизий данных при синхронизации из разных источников.

 

 

Рисунок 9. Выборочная синхронизация

 

ProSync позволяет проводить синхронизацию с маскированием данных, что крайне важно при работе с конфиденциальной информацией. К персональной информации, содержащей буквы или цифры, применяются алгоритмы преобразования и маскирования данных. Механизмы и наборы правил соответствия могут задаваться пользователем, также инструмент предоставляет возможность использования случайных настроек (рандомайзер) (Рисунок 10).

 

 

Рисунок 10. Пример синхронизации с маскированием

 

 

4.9. Мониторинг

  • GUI средства для администраторов позволяют отслеживать статусы операций синхронизации, управлять процессом, настраивать параметры и т.п.
  • Простое управление состоянием операций надо всей системой с помощью GUI
  • Мониторинг объема SAM-файла при выгрузке, прогресс выполнения и порядок задания в очереди, состояние преобразования – отслеживание информации по каждому шагу работы с данными