Flink: ОШИБКА синтаксического анализа числового значения

Я пытаюсь разработать модель K-средних во Flink (Scala), используя Zeppelin. Это часть моего простого кода:

//Reading data
val mapped : DataSet[Vector] = data.map {x => DenseVector (x._1,x._2) }

//Create algorithm
val knn = KNN()
  .setK(3)
  .setBlocks(10)
  .setDistanceMetric(SquaredEuclideanDistanceMetric())
  .setUseQuadTree(false)
  .setSizeHint(CrossHint.SECOND_IS_SMALL)
...
//Just to learn I use the same data predicting the model
val result = knn.predict(mapped).collect()

Когда я распечатываю данные или использую метод прогнозирования, я получаю эту ОШИБКУ:

org.apache.flink.client.program.ProgramInvocationException: The program execution failed: Job execution failed.
  at org.apache.flink.client.program.ClusterClient.run(ClusterClient.java:409)
  at org.apache.flink.client.program.StandaloneClusterClient.submitJob(StandaloneClusterClient.java:95)
  at org.apache.flink.client.program.ClusterClient.run(ClusterClient.java:382)
  at org.apache.flink.client.program.ClusterClient.run(ClusterClient.java:369)
  at org.apache.flink.client.program.ClusterClient.run(ClusterClient.java:344)
  at org.apache.flink.client.RemoteExecutor.executePlanWithJars(RemoteExecutor.java:211)
  at org.apache.flink.client.RemoteExecutor.executePlan(RemoteExecutor.java:188)
  at org.apache.flink.api.java.RemoteEnvironment.execute(RemoteEnvironment.java:172)
  at org.apache.flink.api.java.ExecutionEnvironment.execute(ExecutionEnvironment.java:896)
  at org.apache.flink.api.scala.ExecutionEnvironment.execute(ExecutionEnvironment.scala:637)
  at org.apache.flink.api.scala.DataSet.collect(DataSet.scala:547)
  ... 36 elided
Caused by: org.apache.flink.runtime.client.JobExecutionException: Job execution failed.
  at org.apache.flink.runtime.jobmanager.JobManager$$anonfun$handleMessage$1$$anonfun$applyOrElse$7.apply$mcV$sp(JobManager.scala:822)
  at org.apache.flink.runtime.jobmanager.JobManager$$anonfun$handleMessage$1$$anonfun$applyOrElse$7.apply(JobManager.scala:768)
  at org.apache.flink.runtime.jobmanager.JobManager$$anonfun$handleMessage$1$$anonfun$applyOrElse$7.apply(JobManager.scala:768)
  at scala.concurrent.impl.Future$PromiseCompletingRunnable.liftedTree1$1(Future.scala:24)
  at scala.concurrent.impl.Future$PromiseCompletingRunnable.run(Future.scala:24)
  at akka.dispatch.TaskInvocation.run(AbstractDispatcher.scala:41)
  at akka.dispatch.ForkJoinExecutorConfigurator$AkkaForkJoinTask.exec(AbstractDispatcher.scala:401)
  at scala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260)
  at scala.concurrent.forkjoin.ForkJoinPool$WorkQueue.pollAndExecAll(ForkJoinPool.java:1253)
  at scala.concurrent.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1346)
  at scala.concurrent.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979)
  at scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107)
Caused by: org.apache.flink.api.common.io.ParseException: Line could not be parsed: '-6.59 -44.68'
ParserError NUMERIC_VALUE_FORMAT_ERROR
Expect field types: class java.lang.Double, class java.lang.Double
in file: /home/borja/flink/kmeans/points
  at org.apache.flink.api.common.io.GenericCsvInputFormat.parseRecord(GenericCsvInputFormat.java:407)
  at org.apache.flink.api.java.io.CsvInputFormat.readRecord(CsvInputFormat.java:110)
  at org.apache.flink.api.common.io.DelimitedInputFormat.nextRecord(DelimitedInputFormat.java:470)
  at org.apache.flink.api.java.io.CsvInputFormat.nextRecord(CsvInputFormat.java:78)
  at org.apache.flink.runtime.operators.DataSourceTask.invoke(DataSourceTask.java:162)
  at org.apache.flink.runtime.taskmanager.Task.run(Task.java:585)
  at java.lang.Thread.run(Thread.java:748)

Я не знаю, это моя ошибка при загрузке данных или это связано с чем-то вроде , что < / а>.

Спасибо за любую помощь! :)


person Borja    schedule 03.06.2017    source источник


Ответы (1)


Вы не показали нам код, который используете для чтения и анализа данных, в котором и возникает ошибка. Но, учитывая сообщение об ошибке, я рискну предположить, что вы используете readCSVFile с данными, разделенными пробелами или табуляциями, и не указали fieldDelimiter (по умолчанию используется запятая). В этом случае см. документы о том, как настроить синтаксический анализатор CSV.

person David Anderson    schedule 03.06.2017
comment
Большое спасибо. Я открыл файл с помощью LibreOffice, и у меня есть fieldDelimiter как пробел вместо запятой. Думаю, я бы никогда об этом не подумал, так что еще раз спасибо! :) - person Borja; 04.06.2017