У нас есть 9 узлов Ceph-кластера. Версия Ceph - 15.2.5. Кластер имеет 175 OSD (HDD) + 3 NVMe для уровня кеширования для пула cephfs_data. Информация о пулах CephFS:
POOL ID STORED OBJECTS USED %USED MAX AVAIL
cephfs_data 1 350 TiB 179.53M 350 TiB 66.93 87 TiB
cephfs_metadata 3 3.1 TiB 17.69M 3.1 TiB 1.77 87 TiB
Мы используем несколько активных экземпляров MDS: 3 активных и 3 резервных. Каждый сервер MDS имеет 128 ГБ ОЗУ, предел кеш-памяти mds = 64 ГБ.
Переход на резервный экземпляр MDS занимает 10-15 часов! CephFS все это время недоступен для клиентов. Экземпляр MDS просто остается в состоянии «включено: воспроизведение» все это время. Похоже, демон MDS проверяет все папки на этом этапе. У нас есть миллионы папок с миллионами маленьких файлов. Когда сканирование папок / подпапок завершено, CephFS снова становится активным. Я считаю, что 10 часов простоя во время аварийного переключения MDS - это неожиданное поведение. Есть ли способ заставить MDS изменить статус на активный и запустить все необходимые проверки каталогов в фоновом режиме? Как я могу локализовать основную причину?
P.S .: Мы пробовали повторное воспроизведение в режиме ожидания, и это помогает, но не устраняет основную причину.
