Управление синхронизацией ClickPipe для MongoDB
В этом документе описывается, как управлять синхронизацией MongoDB ClickPipe, когда ClickPipe находится в режиме CDC (Running).
Обзор
Архитектура ClickPipes для баз данных состоит из двух параллельных процессов — извлечения данных из исходной базы данных и записи их в целевую базу данных. Процесс извлечения управляется конфигурацией синхронизации, которая определяет, как часто данные должны извлекаться и какой объём данных должен извлекаться за один раз. Под «за один раз» подразумевается один батч, поскольку ClickPipe извлекает и записывает данные пакетами (батчами).
Существует два основных способа управления синхронизацией MongoDB ClickPipe. ClickPipe начнёт отправку данных, когда сработает один из приведённых ниже параметров.
Интервал синхронизации
Интервал синхронизации пайплайна — это промежуток времени (в секундах), в течение которого ClickPipe будет извлекать записи из исходной базы данных. В это время не входит время, необходимое для записи уже извлечённых данных в ClickHouse.
Значение по умолчанию — 1 минута. Интервал синхронизации может быть установлен в любое положительное целое значение, но рекомендуется задавать его более 10 секунд.
Размер батча извлечения
Размер батча извлечения — это количество записей, которые ClickPipe будет извлекать из исходной базы данных за один батч. Под записями понимаются операции вставки, обновления и удаления, выполненные над коллекциями, входящими в пайплайн.
По умолчанию — 100 000 записей. Безопасный максимум — 10 миллионов записей.
Настройка параметров синхронизации
Вы можете задать интервал синхронизации и размер батча извлечения при создании ClickPipe или при редактировании существующего. При создании ClickPipe эти параметры отображаются на втором шаге мастера создания, как показано ниже:
При редактировании существующего ClickPipe перейдите на вкладку Settings этого пайплайна, приостановите его, а затем нажмите Configure здесь:
Откроется выдвижная панель с параметрами синхронизации, где вы можете изменить интервал синхронизации и размер батча извлечения:
Мониторинг работы синхронизации
Вы можете увидеть, сколько времени занимает каждый батч, в таблице CDC Syncs на вкладке Metrics соответствующего ClickPipe. Обратите внимание, что указанная здесь продолжительность включает время записи, а также, если нет входящих строк, ClickPipe ожидает, и время ожидания также включается в продолжительность.
