Как я могу передать аккумулятор Spark функции?

Дополнительную информацию об аккумуляторах Spark можно найти здесь

Согласно scala-docs относительно создания аккумулятора:

/** * Создать переменную [[org.apache.spark.Accumulator]] заданного типа с именем для отображения * в пользовательском интерфейсе Spark. Задачи могут «добавлять» значения в аккумулятор с помощью метода +=. Только водитель * может получить доступ к value аккумулятора. */

Тип аккумулятора по умолчанию — int. Вы можете установить свой собственный тип, но вам нужно правильно реализовать метод += для добавления значений к вашему собственному типу аккумулятора:

val ac = sc.accumulator[MyOwnType](MyOwnTypeObject, "my own type object accumulator")

Ваш основной фрагмент кода будет выглядеть так:

val ac = sc.accumulator(0, "some accumulator")
....
a = a.map(x => someFunction(x, ac))
....
System.out.println("My accumulator value is: " + ac.value)

Где имплантация метода someFunction будет выглядеть так:

def someFunction(x: TypeOfX, ac: Accumulator[Int]) : ReturnType =
{
    ...
    ac += 1
    ...
}