Как вы извлекаете сначала схему, а затем данные из файла avro на Java? Идентично this вопросу, за исключением java.
Я видел примеры того, как получить схему из файла avsc, но не из файла avro. В каком направлении я должен смотреть?
Schema schema = new Schema.Parser().parse(
new File("/home/Hadoop/Avro/schema/emp.avsc")
);
Если вы хотите знать схему файла Avro, не создавая соответствующие классы или не заботясь о том, к какому классу принадлежит файл, вы можете использовать GenericDatumReader:
DatumReader<GenericRecord> datumReader = new GenericDatumReader<>();
DataFileReader<GenericRecord> dataFileReader = new DataFileReader<>(new File("file.avro"), datumReader);
Schema schema = dataFileReader.getSchema();
System.out.println(schema);
А затем вы можете прочитать данные внутри файла:
GenericRecord record = null;
while (dataFileReader.hasNext()) {
record = dataFileReader.next(record);
System.out.println(record);
}
DataFileReader<GenericRecord>.OpenReader(filename); может использоваться для создания экземпляра dataFileReader. После создания экземпляра dataFileReader используется так же, как в Java.
- person Berthier Lemieux; 16.09.2018
Спасибо за ответ @Helder Pereira. В качестве дополнения схему также можно получить из getSchema() экземпляра GenericRecord.
Здесь представляет собой живую демонстрацию об этом, ссылка выше показывает, как получить данные и схему в java для форматов данных Parquet, ORC и AVRO.
Вы можете использовать библиотеку блоков данных, как показано здесь https://github.com/databricks/spark-avro, который загрузит файл avro в Dataframe (Dataset<Row>)
Если у вас есть Dataset<Row>, вы можете напрямую получить схему, используя df.schema()
