Nifi: проверьте CSV-файл на наличие обновлений строк, затем загрузите

Обычно в нашей среде, когда кто-то хочет принять новые данные, он генерирует новый файл CSV, который Nifi берет из SFTP. Однако у меня есть новый случай, когда исходный CSV-файл находится на общем диске, и их приложение добавляет к нему новые строки при наличии обновлений.

Есть ли способ, которым Nifi может отслеживать этот CSV-файл, когда добавляются новые строки? И сможет ли он впоследствии принимать только новые данные? Я думаю, что у него есть что-то подобное для реляционных баз данных, но я не видел ничего подобного для файлов. Заранее спасибо.


person lengthy_preamble    schedule 16.12.2019    source источник


Ответы (1)


Попробуйте для этого TailFile процессор. Если строки всегда добавляются в конец (что, как я подозреваю, так и есть), то в зависимости от того, как это запланировано (и сколько строк добавляется за раз), TailFile должен выводить либо одну строку на файл потока, либо количество строк на файл потока. . В любом случае у вас будет поток новых строк.

person mattyb    schedule 17.12.2019