Можно ли использовать Apache NiFi в качестве механизма потока данных для вычислений в базе данных MS SQL Server?

Можно ли использовать Apache NiFi в качестве механизма потока данных для вычислений в базе данных MS SQL Server?

Другими словами, я хотел бы использовать Apache NiFi, как если бы я использовал Alteryx.

Например, могу ли я последовательно выполнить две или более процедуры MS SQL из Apache NiFi?

Вы можете предложить альтернативные инструменты?


person user2530062    schedule 16.09.2018    source источник


Ответы (1)


Обычно для этого можно использовать NiFi, но это не идеально.

Apache NiFi поддерживает DBCPConnectionPool, и вы можете подключиться к почти всем базам данных, у которых есть коннектор JDBC, и да, вы сможете запускать процессы MS SQL последовательно.

Для настройки DBCPConnectionPool требуется, чтобы на вашем сервере NiFi была jdbc jar, и в настройке параметров вы можете использовать эти настройки.

  • URL подключения: jdbc: sqlserver: // ip: port
  • Класс драйвера: com.microsoft.sqlserver.jdbc.SQLServerDriver.
  • Расположение драйвера: /opt/nifi/external_libs/mssql-jdbc-6.2.2.jre8.jar

    Если у вас есть рабочая нагрузка типа ETL, тогда, когда вы будете перекачивать большие объемы данных из одной точки в другую, когда сервер NiFi выполняет много операций ввода-вывода с большими файлами, я бы не рекомендовал NiFI.

person Up_One    schedule 17.09.2018