FAQ по Kafka ClickPipes

Часто задаваемые вопросы о Kafka ClickPipes

Общие сведения

Как работает ClickPipes для Kafka?

ClickPipes использует специализированную архитектуру, запускающую Kafka Consumer API для чтения данных из указанного топика и последующей вставки данных в таблицу ClickHouse в конкретном сервисе ClickHouse Cloud.

В чём разница между ClickPipes и движком таблиц ClickHouse Kafka Table Engine?

Движок Kafka Table является базовой возможностью ClickHouse, реализующей «pull-модель», при которой сам сервер ClickHouse подключается к Kafka, извлекает события и затем записывает их локально.

ClickPipes — это отдельный облачный сервис, работающий независимо от сервиса ClickHouse. Он подключается к Kafka (или другим источникам данных) и отправляет события в связанный сервис ClickHouse Cloud. Такая развязанная архитектура обеспечивает высокую операционную гибкость, чёткое разделение ответственности, масштабируемую ингестию, управляемую обработку отказов, расширяемость и многое другое.

Каковы требования для использования ClickPipes для Kafka?

Для использования ClickPipes для Kafka вам потребуется работающий брокер Kafka и сервис ClickHouse Cloud с включённым ClickPipes. Также необходимо убедиться, что ClickHouse Cloud имеет доступ к вашему брокеру Kafka. Этого можно добиться, разрешив удалённые подключения на стороне Kafka и добавив в список разрешённых исходящие IP-адреса ClickHouse Cloud в вашей конфигурации Kafka. В качестве альтернативы вы можете использовать AWS PrivateLink для подключения ClickPipes для Kafka к вашим брокерам Kafka.

Поддерживает ли ClickPipes для Kafka AWS PrivateLink?

AWS PrivateLink поддерживается. См. документацию для получения дополнительной информации по настройке.

Могу ли я использовать ClickPipes для Kafka для записи данных в топик Kafka?

Нет, ClickPipes для Kafka предназначен для чтения данных из топиков Kafka, а не для записи данных в них. Для записи данных в топик Kafka вам потребуется использовать отдельный продюсер Kafka.

Поддерживает ли ClickPipes несколько брокеров?

Да, если брокеры входят в один и тот же кворум, их можно настроить совместно, перечислив через ,.

Можно ли масштабировать реплики ClickPipes?

Да, ClickPipes для потоковой передачи можно масштабировать как горизонтально, так и вертикально. Горизонтальное масштабирование добавляет больше реплик для увеличения пропускной способности, а вертикальное масштабирование увеличивает ресурсы (CPU и RAM), выделенные каждой реплике, для обработки более интенсивных нагрузок. Это можно настроить при создании ClickPipe или в любой момент позже в разделе Settings -> Advanced Settings -> Scaling.

Azure Event Hubs

Работает ли ClickPipe для Azure Event Hubs без Kafka-интерфейса?

Нет. Для работы ClickPipes требуется, чтобы в пространстве имён Event Hubs был включён Kafka-интерфейс. Это доступно только в тарифах выше basic. См. документацию Azure Event Hubs для получения дополнительной информации.

Работает ли Azure Schema Registry с ClickPipes?

Нет. ClickPipes поддерживает только реестры схем, которые являются API-совместимыми с Confluent Schema Registry, что не относится к Azure Schema Registry. Если вам нужна поддержка этого реестра схем, свяжитесь с нашей командой.

Какие разрешения необходимы в моей политике для чтения данных из Azure Event Hubs?

Для получения списка топиков и чтения событий предоставляемая ClickPipes политика совместного доступа должна как минимум содержать право «Listen».

Почему мой Event Hubs не возвращает данные?

Если ваш экземпляр ClickHouse находится в другом регионе или на другом континенте по сравнению с развертыванием Event Hubs, при подключении ClickPipes вы можете сталкиваться с таймаутами, а при чтении данных из Event Hub — с повышенной задержкой. Мы рекомендуем разворачивать ClickHouse Cloud и Azure Event Hubs в одном и том же облачном регионе или в регионах, расположенных близко друг к другу, чтобы избежать издержек по производительности.

Нужно ли указывать номер порта для Azure Event Hubs?

Да. В ClickPipes ожидается, что вы укажете номер порта для конечной точки Kafka; он должен быть :9093.

Остаются ли IP‑адреса ClickPipes актуальными для Azure Event Hubs?

Да. Чтобы ограничить трафик к вашему экземпляру Event Hubs, добавьте [задокументированные статические NAT‑IP‑адреса](../ /index.md#list-of-static-ips) в .

Строка подключения предназначена для отдельного Event Hub или для пространства имен Event Hubs?

Оба варианта работают. Мы настоятельно рекомендуем использовать политику совместного доступа на уровне пространства имен, чтобы получать данные из нескольких экземпляров Event Hubs.