Я часто вижу следующее сообщение в журнале debug.log Cassandra, а иногда и перед потерей узлов в кластере. Любые идеи о том, что означает сообщение и как исправить основную проблему?
DEBUG [ReadRepairStage:9346] 2017-11-06 22:29:46,135 ReadCallback.java:242 - Digest mismatch:
org.apache.cassandra.service.DigestMismatchException: Mismatch for key DecoratedKey(-8713145541289520569, 00114c65616465722f6d61737465722f352e3100000364633100) (408c7e13eea38efc9429366038cbe4a3 vs 8ce8acece0966903ac590d3229099398)
at org.apache.cassandra.service.DigestResolver.compareResponses(DigestResolver.java:92) ~[cassandra-all-3.11.0.1900.jar:3.11.0.1900]
at org.apache.cassandra.service.ReadCallback$AsyncRepairRunner.run(ReadCallback.java:233) ~[cassandra-all-3.11.0.1900.jar:3.11.0.1900]
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) [na:1.8.0_151]
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) [na:1.8.0_151]
at org.apache.cassandra.concurrent.NamedThreadFactory.lambda$threadLocalDeallocator$0(NamedThreadFactory.java:81) [cassandra-all-3.11.0.1900.jar:3.11.0.1900]
at java.lang.Thread.run(Thread.java:748) ~[na:1.8.0_151]
Вот детали кластера Cassandra:
- Кластер из 4 узлов
- Каждый экземпляр AWS типа m4.2xlarge
- Каждый имеет том io1 с 20000 IOPS.
- Все в одном облаке VPC с частными IP-адресами 10.0.0.x
- DataStax Enterprise Server 5.1.5