Arrow

Вход	Выход	Псевдоним
✔	✔

Описание

Apache Arrow включает два встроенных формата колоночного хранения данных. ClickHouse поддерживает операции чтения и записи для этих форматов. Arrow — это формат Apache Arrow в режиме «file mode». Он предназначен для произвольного доступа к данным в оперативной памяти.

Соответствие типов данных

В таблице ниже показаны поддерживаемые типы данных и их соответствие типам данных ClickHouse в запросах INSERT и SELECT.

Тип данных Arrow (INSERT)	Тип данных ClickHouse	Тип данных Arrow (SELECT)
BOOL	Bool	BOOL
UINT8, BOOL	UInt8	UINT8
INT8	Int8/Enum8	INT8
UINT16	UInt16	UINT16
INT16	Int16/Enum16	INT16
UINT32	UInt32	UINT32
INT32	Int32	INT32
UINT64	UInt64	UINT64
INT64	Int64	INT64
FLOAT, HALF_FLOAT	Float32	FLOAT32
DOUBLE	Float64	FLOAT64
DATE32	Date32	UINT16
DATE64	DateTime	UINT32
TIMESTAMP, TIME32, TIME64	DateTime64	TIMESTAMP
STRING, BINARY	String	BINARY
STRING, BINARY, FIXED_SIZE_BINARY	FixedString	FIXED_SIZE_BINARY
DECIMAL	Decimal	DECIMAL
DECIMAL256	Decimal256	DECIMAL256
LIST	Array	LIST
STRUCT	Tuple	STRUCT
MAP	Map	MAP
UINT32	IPv4	UINT32
FIXED_SIZE_BINARY, BINARY	IPv6	FIXED_SIZE_BINARY
FIXED_SIZE_BINARY, BINARY	Int128/UInt128/Int256/UInt256	FIXED_SIZE_BINARY

Массивы могут быть вложенными и в качестве типа элементов могут использовать значение типа Nullable. Типы Tuple и Map также могут быть вложенными.

Тип DICTIONARY поддерживается для запросов INSERT, а для запросов SELECT доступна настройка output_format_arrow_low_cardinality_as_dictionary, которая позволяет выводить тип LowCardinality как тип DICTIONARY.

Неподдерживаемые типы данных Arrow:

• FIXED_SIZE_BINARY
• JSON
• UUID
• ENUM.

Типы данных столбцов таблицы ClickHouse не обязаны совпадать с соответствующими полями Arrow. При вставке данных ClickHouse интерпретирует типы данных в соответствии с таблицей выше, а затем приводит данные к типу, заданному для столбца таблицы ClickHouse.

Пример использования

Вставка данных

Вы можете вставить данные Arrow из файла в таблицу ClickHouse с помощью следующей команды:

$ cat filename.arrow | clickhouse-client --query="INSERT INTO some_table FORMAT Arrow"

Выбор данных

Вы можете выбрать данные из таблицы ClickHouse и сохранить их в файл формата Arrow с помощью следующей команды:

$ clickhouse-client --query="SELECT * FROM {some_table} FORMAT Arrow" > {filename.arrow}

Настройки формата

Параметр	Описание	Значение по умолчанию
input_format_arrow_allow_missing_columns	Разрешать отсутствие столбцов при чтении входных форматов Arrow	1
input_format_arrow_case_insensitive_column_matching	Игнорировать регистр при сопоставлении столбцов Arrow со столбцами ClickHouse	0
input_format_arrow_import_nested	Устаревшая настройка, ничего не делает.	0
input_format_arrow_skip_columns_with_unsupported_types_in_schema_inference	Пропускать столбцы с неподдерживаемыми типами при выводе (определении) схемы для формата Arrow	0
output_format_arrow_compression_method	Метод сжатия для формата вывода Arrow. Поддерживаемые кодеки: lz4_frame, zstd, none (без сжатия)	lz4_frame
output_format_arrow_fixed_string_as_fixed_byte_array	Использовать тип Arrow FIXED_SIZE_BINARY вместо Binary для столбцов FixedString.	1
output_format_arrow_low_cardinality_as_dictionary	Включить вывод типа LowCardinality как типа Arrow Dictionary	0
output_format_arrow_string_as_string	Использовать тип Arrow String вместо Binary для столбцов String	1
output_format_arrow_use_64_bit_indexes_for_dictionary	Всегда использовать 64-битные целые числа для индексов словаря в формате Arrow	0
output_format_arrow_use_signed_indexes_for_dictionary	Использовать знаковые целые числа для индексов словаря в формате Arrow	1