Общее руководство по настройке источника данных MongoDB

Справочные материалы

Если вы используете MongoDB Atlas, обратитесь к специальному руководству здесь.

Включение хранения oplog

Для репликации требуется минимальный срок хранения oplog в 24 часа. Рекомендуется устанавливать срок хранения oplog на 72 часа или больше, чтобы избежать его усечения до завершения начального снимка.

Вы можете проверить текущий срок хранения oplog, выполнив следующую команду в оболочке MongoDB (для выполнения этой команды у вас должна быть роль clusterMonitor):

db.getSiblingDB("admin").serverStatus().oplogTruncation.oplogMinRetentionHours

Чтобы установить время хранения oplog на 72 часа, выполните следующую команду на каждом узле набора реплик от имени пользователя с правами администратора:

db.adminCommand({
    "replSetResizeOplog" : 1,
    "minRetentionHours": 72
})

Подробнее о команде replSetResizeOplog и хранении журнала операций (oplog) см. документацию MongoDB.

Настройте пользователя базы данных

Подключитесь к экземпляру MongoDB как пользователь с правами администратора и выполните следующую команду, чтобы создать пользователя для MongoDB CDC в ClickPipes:

db.getSiblingDB("admin").createUser({
    user: "clickpipes_user",
    pwd: "ваш_надежный_пароль",
    roles: ["readAnyDatabase", "clusterMonitor"],
})

Примечание

Обязательно замените clickpipes_user и some_secure_password на выбранные вами имя пользователя и пароль.

Что дальше?

Теперь вы можете создать ClickPipe и начать приём данных из экземпляра MongoDB в ClickHouse Cloud. Обязательно сохраните параметры подключения, которые вы использовали при настройке MongoDB, так как они понадобятся вам в процессе создания ClickPipe.