Раковина Apache Pulsar Clickhouse - есть ли промежутки между вставками?

Clickhouse допускает высокопроизводительную запись, но только в том случае, если они выполняются массово и с интервалами (рекомендуется интервал не менее 1 секунды между вставками). В документации к JDBC-коннектору для Clickhouse есть опция batchSize, но ничего не говорится об интервалах между вставками, и мне не удалось найти логику вставки в коде (хотя я не парень Java).

Означает ли это, что интервалов нет, и Pulsar просто вставляет вставки так часто, как только может?


person Andrey Rusanov    schedule 06.02.2021    source источник


Ответы (1)


Я ничего не знаю о Pulsar.

рекомендуется интервал не менее 1 секунды между вставками

Эта рекомендация - одна вставка в секунду. Ничего подобного за 1 секунду до сна.

Эта рекомендация слишком проста и очень расплывчата.

Каждый проект уникален, имеет свою среду и требования.

В один проект я вставляю 10мил. очень широкие строки в минуту с RAID 10 с жесткими дисками.

В другом проекте я делаю 1000 вставок с ~ 100 узкими строками каждую в секунду, используя части In-memory с одним диском NVME.

person Denny Crane    schedule 06.02.2021