Apache Pinot - это распределенное хранилище данных OLAP с открытым исходным кодом, используемое для выполнения аналитических запросов с точностью до миллисекунд в реальном времени, а также из автономных источников данных. Он обладает высокой масштабируемостью по дизайну и может легко поддерживать аналитику с выходом на сайт, такую как LinkedIn «Кто просматривал мой профиль» или Uber «Менеджер ресторана». надежным способом. Типичный производственный кластер Pinot может обрабатывать миллионы событий Kafka, терабайты данных Hadoop, обслуживая более 100 000 запросов в секунду со строгим SLA с низкой задержкой.
В этой статье мы поговорим о том, как пользователи могут создавать критически важные аналитические приложения, ориентированные на сайты, требующие высокой пропускной способности и строгого SLA с задержкой запросов p99th, используя Apache Pinot.
Мы рассмотрим проблемы обслуживания одновременных запросов SLA с малой задержкой в распределенной среде Pinot. Далее мы подробно рассмотрим внутреннее устройство стратегий назначения сегментов и маршрутизации и то, как мы можем настроить их для обеспечения оптимальной производительности запросов. Мы также поговорим о стратегии разделения данных и о том, как с ее помощью можно дополнительно оптимизировать пропускную способность и задержку запросов.
…
