Публикации по теме 'sharding'


Учебное пособие по MYSQL Sharding
Вступление: Большинство фирм в последние годы стали ориентироваться на данные. Это означает, что они используют принятие решений на основе данных для разработки планов на будущее для таких отделов, как маркетинг, рост, развитие бизнеса и разработка продуктов. Компании должны гарантировать, что основные данные собраны в формате, подходящем для анализа и легкодоступном для проведения точного анализа. Поскольку цель состоит в том, чтобы обеспечить точный анализ, собирается большой объем..

Вопросы по теме 'sharding'

У вас есть хорошие ссылки / статьи об очередях заданий и сегментировании БД?
Есть ли у кого-нибудь хорошие ссылки о том, как / когда / зачем использовать очередь заданий для масштабирования веб-приложений? Также были бы полезны статьи по шардингу db :)
222 просмотров
schedule 02.10.2021

Автоматический шардинг postgresql?
У меня проблема, когда мне нужно очень быстро загрузить много данных (5+ миллиардов строк) в базу данных (в идеале менее 30 минут, но быстрее, тем лучше), и мне недавно предложили изучить postgresql (я потерпел неудачу с mysql и смотрел hbase /...
15828 просмотров

Как удалить чанки из осколка mongodb
У меня есть коллекция, в которой ключ сегментирования - UUID (шестнадцатеричная строка). Коллекция огромна: 812 миллионов документов, около 9600 чанков на 2 шарда. По какой-то причине я изначально хранил документы, у которых вместо UUID было целое...
2645 просмотров
schedule 25.09.2021

Избавьтесь от неназначенного осколка
У меня есть стек ELK с двумя запущенными узлами ElasticSearch, а состояние кластера стало красным из-за некоторых неназначенных осколков, от которых я не могу избавиться. Поиск неназначенного осколка, соответственно. неполный индекс с: # curl -s...
520 просмотров
schedule 08.10.2021

MongoDB сегментирование, арбитр и настройка кластера
Может ли кто-нибудь помочь проверить нашу настройку Настройка кластера MongoDB с 4 узлами: 1 первичный (запись), 3 вторичных (чтение), если первичный выходит из строя, 3 вторичных сервера могут разорвать связь и выбрать вторичный сервер в качестве...
604 просмотров
schedule 15.09.2021

поддерживает ли spring-data-redis пул шардинга jedis?
Я использую spring-data-redis в качестве уровня доступа к данным для Redis, для распределения данных я пытался использовать функцию сегментирования jedis, но похоже, что spring-data-redis НЕ поддерживает сегментирование официально, есть ли какое-либо...
1129 просмотров
schedule 25.09.2021

Ключ осколка MongoDB как (ObjectId, ObjectId, RandomKey). Несбалансированные коллекции
Я пытаюсь разделить коллекцию примерно на 6 миллионов документов. Ниже приведены некоторые подробности о сегментированном кластере. Mongod версии 2.6.7, два шарда, 40% записи, 60% чтения. В моей базе данных есть события коллекции с примерно...
303 просмотров
schedule 22.10.2021

Распределение сегментов Elasticsearch для небольших индексов
У меня есть настройка elasticsearch со 192 активными индексами в диапазоне от нескольких сотен МБ до 5 ГБ каждый. Я читал, что для случая использования logstash с индексами 1 ГБ вам следует использовать только 1 осколок. Разница с моей настройкой в...
343 просмотров
schedule 13.11.2021

Шардинг MongoDb не улучшает приложение в лабораторной установке
В настоящее время я разрабатываю мобильное приложение на базе базы данных Mongo, и, хотя сейчас все работает нормально, мы хотим добавить Sharding , чтобы подготовиться к будущему. Чтобы проверить это, мы создали лабораторную среду (работающую в...
157 просмотров
schedule 04.11.2021

Вы не можете указать уникальное ограничение для хешированного индекса в кластере MongoDB Shard?
Это может быть основной вопрос по MongoDB. У меня проблема с кластером сегментов MongoDB, потому что я вижу повторяющиеся записи в моем кластере для некоторых документов. В соответствии с моей конфигурацией Mongod я сделал сегмент с помощью ключа...
165 просмотров
schedule 25.09.2021

Нужна помощь в выборе ключа сегментирования в MongoDB
Для моего приложения мне нужно разбить довольно большую коллекцию, вся коллекция будет содержать app. 500 миллиардов документов. У меня есть два потенциальных поля, которые можно использовать в качестве ключа сегментирования: При вставке...
27 просмотров
schedule 03.12.2021

Понимание шардинга кластера Akka
Я изучаю модуль шардинга Akka. Я кое-что не понимаю в Sharding. Представим, что вы хотите сегментировать актера: у вас есть много объектов от одного и того же актера, распределенных на многих узлах. Каждый объект может иметь собственное состояние,...
512 просмотров
schedule 14.11.2021

Распределенный объект, большие данные
У меня есть общий вопрос о больших объектах в памяти и распределенных вычислениях. У меня есть большой объект, такой как Class.Object, который хранит много данных, таких как более 200 000 объектов, и их число продолжает расти. Как сейчас, это...
543 просмотров
schedule 25.02.2022

Разделение базы данных графов
Мне было интересно, как таким базам данных, как Dgraph и TigerGraph, удалось разбить граф, чтобы поддерживать горизонтальное масштабирование без разрыва соединений между узлами, кроме того, они поддерживают множество интересных алгоритмов. И они...
637 просмотров

Mongodb - _id должен быть глобально уникальным при шардинге
Я хочу сегментировать коллекцию по их «внешнему ключу» (идентификатору пользователя), а не по полю идентификатора. Мне нужно только, чтобы комбинация идентификатора пользователя и идентификатора была уникальной. Но я не уверен, что это нормально с...
650 просмотров
schedule 06.03.2022

Шардинг в MongoDB
Пытаюсь протестировать шардинг в MongoDB. Например, я использую host1.com и host2.com вместо реальных имен серверов. Итак, я создал сервер конфигурации на host1.com: mongod --dbpath /path/to/configdb/ --configsvr На этой же машине...
1897 просмотров
schedule 08.03.2022

Как работает балансировщик Mongo в отношении хешированного ключа сегмента
Это хорошо известная концепция балансировки данных между узлами, и она четко описана в руководство . Как работает балансировщик в отношении хешированных фрагментов ключа шарда? Можно ли мигрировать чанк, если по ключу шарда документы из этого чанка...
107 просмотров
schedule 05.03.2022

На какой сервер SOLR следует отправлять распределенный запрос при указании осколков в URL-адресе?
Я настраиваю распределенный поиск с осколками в SOLR. На какой сервер я должен отправить этот запрос? или это не имеет значения? host 1 :8983/solr/core?q= : &shards=host1:8983/solr/core,host2:8983/solr/core против host 2...
32 просмотров
schedule 08.03.2022

наборы реплик шардинга mongodb с аутентификацией через ключевой файл
У нас есть два набора реплик и один узел artiber. В наборе реплик один обозначен как первичный, а другой как вторичный. Когда один из них отключается, другой автоматически становится основным. Но в непредвиденных ситуациях, когда и первичный, и...
2937 просмотров
schedule 15.03.2022

Читает ли mongodb из вторичного члена набора реплик при использовании «movechunk» для балансировки кластера осколков?
При использовании команды «movechunk» (и, следовательно, при работающем балансировщике) операции чтения и блокировки происходят на первичном или вторичном элементе набора реплик? Наше приложение в настоящее время не читает из вторичных элементов,...
596 просмотров
schedule 24.03.2022