Эквивалент RDD для каждой искры во Flink

в Apache Spark мы много раз используем RDD forEach для оценки или обработки всех данных в RDD ... Я хочу знать, что эквивалентно тому же в Apache Flink ??


apache-spark spark-streaming apache-flink flink-streaming
person AKSHAY SHINGOTE    schedule 27.06.2016    source источник

Ответы (2)


arrow_upward
0
arrow_downward

Во Flink нет эквивалента. Однако вы можете использовать map() и поместить туда свою пользовательскую функцию.

Просто для уточнения:

  1. RDD - это концепция Spark - Flink действительно работает с потоками данных.
  2. forEach вызывает функцию для каждого элемента, но не изменяет базовые данные (таким образом, используя map() во Flink, вам нужно добавить «функцию идентификации с побочным эффектом», т. Е. UDF вашей карты должен делать то, что делает каждый UDF, плюс испустить входную запись без изменений.)
person Matthias J. Sax    schedule 28.06.2016

arrow_upward
0
arrow_downward

Начиная с версии 1.2 Flink предлагает ProcessFunction, который более или менее аналогичен forEach в Spark, поскольку он вызывается для каждого элемента потока.

person David Anderson    schedule 13.05.2017