Я тестирую платформы, которые позволяют любому пользователю легко создавать конвейеры обработки данных. Эта платформа должна соответствовать определенным требованиям, и одно из них — способность перемещать данные из Oracle/SQL Server в HDFS.
Streamsets Transformer (v3.11) соответствует всем требованиям, включая указанное выше. Я просто не могу заставить его работать в очень конкретном случае: при приеме таблицы, которая не содержит числовых столбцов.
В этих случаях я хочу, чтобы конвейер обрабатывал все данные, поэтому в источнике JDBC я включил свойство «Пропустить отслеживание смещения». Я думал, что, пропустив отслеживание смещения, не нужно будет устанавливать свойство «Смещение столбца» (думаю, я ошибался).
JDBC_05 - Table doesn't have compatible primary key configuration - supporting exactly one column but table have 0
Если числовой столбец существует, возможным обходным путем является установка его в качестве столбца смещения, но я не могу найти способ сделать это, когда его не существует.
Я что-то упускаю?
Спасибо
