Жизненный цикл MySQL ClickPipe
В этом документе рассматриваются различные этапы работы MySQL ClickPipe, возможные статусы и то, что они означают. Имейте в виду, что всё сказанное относится и к MariaDB.
Подготовка ресурсов
Когда вы нажимаете кнопку «Create ClickPipe», ClickPipe создаётся в состоянии Provisioning. В процессе подготовки ресурсов мы разворачиваем базовую инфраструктуру для запуска ClickPipes для сервиса, а также регистрируем начальные метаданные для этого ClickPipe. Поскольку вычислительные ресурсы для ClickPipes внутри сервиса общие, ваш второй ClickPipe будет создан гораздо быстрее первого, поскольку инфраструктура уже развёрнута.
Настройка
После того как конвейер создан, он переходит в состояние Setup. В этом состоянии мы создаём целевые таблицы ClickHouse. Здесь же мы получаем и сохраняем определения таблиц вашего источника данных.
Snapshot
После завершения настройки мы переходим в состояние Snapshot (если это не pipe только для CDC, который сразу перейдёт в состояние Running). Snapshot, Initial Snapshot и более распространённый термин Initial Load являются взаимозаменяемыми. В этом состоянии мы снимаем snapshot исходных таблиц MySQL и загружаем их в ClickHouse. Настройка периода хранения бинарных логов должна учитывать время выполнения начальной загрузки. Для получения дополнительной информации о начальной загрузке см. документацию по параллельной начальной загрузке. Pipe также перейдёт в состояние Snapshot, когда инициируется повторная синхронизация (resync) или когда в существующий pipe добавляются новые таблицы.
Running
После завершения начальной загрузки pipe переходит в состояние Running (если это не pipe только для snapshot, который в таком случае переходит в состояние Completed). На этом этапе pipe начинает выполнять CDC (фиксацию изменений данных, Change Data Capture). В этом состоянии мы начинаем читать бинарные логи из исходной базы данных и синхронизируем данные в ClickHouse пакетами. Подробнее об управлении CDC см. в разделе документация по управлению CDC.
Приостановлено
Когда конвейер находится в состоянии Running, вы можете приостановить его. Это остановит CDC-процесс, и конвейер перейдёт в состояние Paused. В этом состоянии новые данные больше не считываются из исходной базы данных, но уже существующие данные в ClickHouse остаются без изменений. Вы можете возобновить работу конвейера из этого состояния.
Приостановка
Этот статус скоро станет доступен. Если вы используете наш OpenAPI, рекомендуем уже сейчас добавить поддержку этого состояния, чтобы ваша интеграция продолжила корректно работать после его появления.
Когда вы нажимаете кнопку «Pause», пайплайн переходит в состояние Pausing. Это промежуточное состояние, в котором выполняется остановка процесса CDC. После полной остановки процесса CDC пайплайн перейдёт в состояние Paused.
Изменение
Это состояние появится в ближайшее время. Если вы используете наш OpenAPI, рассмотрите возможность добавить поддержку этого состояния уже сейчас, чтобы ваша интеграция продолжала работать после его выпуска.
В настоящее время это состояние означает, что pipe находится в процессе удаления таблиц.
Повторная синхронизация
Это состояние появится в ближайшее время. Если вы используете наш OpenAPI, рекомендуем уже сейчас добавить поддержку этого состояния, чтобы ваша интеграция продолжала работать после релиза.
Это состояние указывает, что pipe находится в фазе повторной синхронизации, в рамках которой выполняется атомарная замена таблиц _resync на исходные таблицы. Подробнее о повторной синхронизации см. в документации по повторной синхронизации.
Завершено
Это состояние применяется к конвейерам, выполняющим только снимок, и указывает, что создание снимка завершено и больше нет работы.
Ошибка
Если в конвейере происходит невосстановимая ошибка, он переходит в состояние Failed. Вы можете обратиться в службу поддержки или повторно выполнить синхронизацию конвейера, чтобы восстановить его из этого состояния.
