Почему формат ORC представлен в HDFS, если HDFS в первую очередь предназначена для объектного хранилища

ORC (ограниченная) поддержка транзакций ACID не меняет того факта, что HDFS доступна только для записи. См. https://orc.apache.org/docs/acid.html для объяснение. Обновления в ORC просто записываются в новые файлы в HDFS, поэтому быстрая запись отдельных транзакций приведет к появлению множества новых файлов, что приведет к серьезным проблемам с производительностью.

Сначала мы должны познакомиться с историей ORC и столбчатых форматов данных в HDFS. Первоначально HDFS была разработана как файловая система, как следует из названия. Это означает, что люди хотели хранить файлы с возможностью масштабирования.

Первоначально ORC и Parquet не поддерживали обновления, потому что в долгосрочном решении для эффективного хранения не имеет смысла вносить изменения, такие как обновления. Данные должны быть неизменными и храниться очень эффективно. Как всегда, некоторые предприятия решили, что заказчик всегда прав, и внесли изменения. Они называют этот процесс созреванием на странице ORC. Я считаю это проблемой, которую не рекомендую своим клиентам.

Это делает HDFS блочным хранилищем, в котором данные могут быть обновлены / изменены, что противоречит всей структуре Hadoop.

Это не так, потому что фактическая реализация имеет дополнительные файлы вместо обновлений на месте.