конфигурация Spark-Cassandra-Connector: concurrent.reads vs input.reads_per_sec

чувство замешательства при чтении https://github.com/datastax/spark-cassandra-connector/blob/master/doc/reference.md#read-tuning-parameters

concurrent.reads: устанавливает параллелизм чтения для таблиц joinWithCassandra.

input.reads_per_sec: устанавливает максимальное количество запросов на ядро ​​в секунду для joinWithCassandraTable.

расшифровка одновременных чтений из SDE в Datastax: https://groups.google.com/a/lists.datastax.com/d/msg/spark-connector-user/PaQm1LT7Qlk/h41WLnHfBAAJ

Concurrent reads set to 4 means in a 4 core spark executor means, 16 requests will run MAX at the same time.

похоже, concurrent.reads выполняет то же действие, что и input.reads_per_sec.

в чем истинная разница между ними?


cassandra spark-cassandra-connector cassandra-3.0
person GodBlessYou    schedule 28.12.2019    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Они не совпадают, но могут рассматриваться как связанные ...

  • concurrent.reads определяет, сколько одновременных запросов на ядро ​​может быть отправлено одновременно (так называемый запросы в полете). В некоторых случаях вы можете уменьшить его по умолчанию, чтобы избежать перегрузки узлов Cassandra из-за параллельной обработки слишком большого количества запросов;
  • input.reads_per_sec определяет, сколько запросов на ядро ​​в секунду может быть выполнено.
person Alex Ott    schedule 29.12.2019
comment
Судя по вашему описанию, разница между первым и вторым в том, что они могут быть отправлены и могут быть выполнены. 1. Не могли бы вы подробнее рассказать об этом? 2. могу ли я уменьшить input.reads_per_sec, чтобы избежать перегрузки кластера? 3. Если на вопрос 2 положительный ответ, то должно ли значение быть таким же, как concurrent.reads? они имеют такой же эффект? Благодарность - person GodBlessYou; 29.12.2019
comment
1-й вариант (одновременные чтения) - это количество запросов, выполняемых параллельно одним ядром - если Cassandra может быстро отвечать, вы можете получать больше запросов в секунду. 2-й вариант контролирует, сколько запросов в секунду будет выполняться ... Вам нужно настроить один из них - я предлагаю начать с 1-го варианта - person Alex Ott; 30.12.2019
comment
можете ли вы также отличить input.reads_per_sec от input.fetch.size_in_rows? - person GodBlessYou; 31.01.2020
comment
fetch.size_in_rows определяет размер страницы: docs.datastax.com /en/developer/java-driver/3.8/manual/paging - person Alex Ott; 31.01.2020