Перенос данных из облачного объектного хранилища в ClickHouse Cloud
Если вы используете облачное объектное хранилище как озеро данных и хотите импортировать эти данные в ClickHouse Cloud, или если ваша текущая система управления базами данных может напрямую выгружать данные в облачное объектное хранилище, то вы можете использовать одну из табличных функций для миграции данных, хранящихся в облачном объектном хранилище, в таблицу ClickHouse Cloud:
Если ваша текущая система управления базами данных не может напрямую выгружать данные в облачное объектное хранилище, вы можете использовать сторонний ETL/ELT-инструмент или clickhouse-local для переноса данных из вашей текущей системы управления базами данных в облачное объектное хранилище, чтобы на втором этапе мигрировать эти данные в таблицу ClickHouse Cloud.
Хотя это двухэтапный процесс (сначала выгрузка данных в облачное объектное хранилище, затем загрузка в ClickHouse), его преимущество в том, что он масштабируется до петабайт благодаря полноценной поддержке ClickHouse Cloud высокопараллельного чтения из облачного объектного хранилища. Также вы можете использовать продвинутые и сжатые форматы, такие как Parquet.
В блоге опубликована статья с конкретными примерами кода, демонстрирующими, как загружать данные в ClickHouse Cloud с использованием S3.
