Я пытаюсь упорядочить файл из распределенного кеша в EMR, но не могу прочитать файл из распределенного кеша в EMR. Мой код отлично работает на локальном компьютере, но у меня возникают проблемы с emr. Вот мой фрагмент кода-
Помещение файла последовательности в распределенный кеш-
job.addCacheFile(new URI(status.getPath().toString()));
Чтение пути-
for (Path eachPath : cacheFilesLocal) {
loadMap(eachPath.getName(),context.getConfiguration());
}
Чтение файла из path-
private void loadMap(String filePath,Configuration conf) throws IOException
{
try {
Path somePath=new Path(filePath);
reader=new Reader(somePath.getFileSystem(conf),somePath,conf);
// brReader = new BufferedReader(new FileReader(filePath));
Writable key= new Text();
Writable value=new Text();
// Read each line, split and load to HashMap
while (reader.next(key,value)) {
// String index[]=strLineRead.toString().split(Pattern.quote(" - "));
rMap.put(key.toString(),value.toString());
}
}
catch (FileNotFoundException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
finally {
if (reader != null) {
reader.close();
}
}
}
Любая помощь будет оценена.