Вопросы по теме 'distributed-cache'
FileNotFoundException при использовании DistributedCache для доступа к MapFile
Я использую hasoop cdf4.7 в режиме пряжи. В hdfs://test1:9100/user/tagdict_builder_output/part-00000 есть MapFile, в котором есть два файла index и data .
Я использовал следующий код, чтобы добавить его в DistributedCache:
Configuration...
956 просмотров
schedule
23.10.2021
Решения для безопасного распределенного кеша
Проблема: я хочу кэшировать информацию о пользователе, чтобы все мои приложения могли быстро читать данные, но я хочу, чтобы только одно конкретное приложение могло выполнять запись в этот кеш.
Я использую AWS, поэтому мне пришло в голову одно...
735 просмотров
schedule
01.10.2021
configure() не вызывается при работе в кластере Hadoop, но может вызываться в Eclipse, DistributedCache FIleNotFoundException
Моя программа использует DistributedCache для кэширования файлов
JobConf conf = new JobConf(new Configuration(), ItemMining.class);
DistributedCache.addCacheFile(new URI("output1/FList.txt"), conf);
DistributedCache.addCacheFile(new...
143 просмотров
schedule
19.02.2022
Разница между singlecache, multicache и assigncache в отношении аннотаций spring memcached
Я пытаюсь понять Simple Spring Memcached, но остановился на приведенном ниже.
В чем разница между:
@ReadThroughSingleCache, @ReadThroughMultiCache и @ReadThroughAssignCache
@UpdateSingleCache, @UpdateMultiCache и @UpdateAssignCache...
2194 просмотров
schedule
09.04.2022
Какова функция, аналогичная распределенному кешу файловой системы распределения Hadoop в файловой системе Google?
Я развернул 6-узловой кластер Hadoop в Google Compute Engine .
Я использую файловую систему Google (GFS) вместо системы распространения файлов Hadoop (HFS). . Итак, я хочу получить доступ к файлам в GFS так же, как метод распределенного...
162 просмотров
schedule
06.06.2022
Хранить TreeSet в Hadoop DistributedCache
Я пытаюсь сохранить TreeSet в DistributedCache для использования заданием уменьшения карты Hadoop. Пока у меня есть следующее для добавления файла из HDFS в DistributedCache :
Configuration conf = new Configuration();...
226 просмотров
schedule
29.06.2022
Необходимость в пользовательских сериализаторах при использовании производных ArrayList в качестве значения в Hazelcast
У меня есть IMAP, ключ которого — String , а значение — производное от ArrayList . Мне нужно запустить EntryProcessor на ключе этой карты. Также обратите внимание, что Employee — это POJO, реализующий интерфейс Serializable .
Когда я...
703 просмотров
schedule
18.07.2022
Hadoop — большие файлы в распределенном кеше
У меня есть файл размером 4 ГБ, который я пытаюсь использовать для всех картографов через распределенный кеш. Но я наблюдаю значительную задержку в запуске задачи карты. В частности, существует значительная задержка между отправкой задания (через...
1440 просмотров
schedule
02.08.2022
Использование распределенного кэша — HIVE STREAMING
Я хотел бы заархивировать файлы драгоценного камня Ruby и распространить их на свой кластер EMR. Я также хотел бы использовать простой скрипт Ruby, который ссылается на файлы в этом драгоценном камне в задании Hive Streaming.
Я добавляю файл и...
1200 просмотров
schedule
09.08.2022
Распределенная файловая система Hadoop против распределенного кеша
В чем разница ч/б распределенной файловой системы и распределенного кэша в Hadoop?
884 просмотров
schedule
15.08.2022
Почему мы используем распределенный кеш в Hadoop?
В любом случае, существует много передач файлов между узлами в фреймворке уменьшения карты. Тогда как использование распределенного кеша улучшает производительность.
893 просмотров
schedule
22.09.2022
При добавлении файла hdfs в куст и использовании в udf возникает ошибка
есть файл с именем file.txt , в котором хранится конфигурация, которую я хотел бы использовать в своем UDF, как показано в коде ниже.
public class ParseTraceIdUDF extends GenericUDF {
private transient ObjectInspector[] argumentOIs;...
191 просмотров
schedule
06.10.2022
Нужна распределенная система поиска ключ-значение в PHP
Этот вопрос задает один в java,
какой лучший кандидат в PHP?
Кстати, устанавливает ли следующее:
распределенное хранилище значений ключа == распределенный кеш
?
685 просмотров
schedule
30.04.2023
Hadoop: FileNotFoundExcepion при получении файла из DistributedCache
У меня есть кластер из 2 узлов (v1.04), ведущий и подчиненный. На мастере в Tool.run() добавляем два файла в DistributedCache с помощью addCacheFile() . Файлы существуют в HDFS. В Mapper.setup() мы хотим получить эти файлы из кеша, используя...
1135 просмотров
schedule
04.03.2023
Доступ к файлу в Pig через распределенный кэш
Я просмотрел много страниц в Stackoverflow по этому поводу. Но все же я в замешательстве. Даже если это повторяющийся вопрос или похожий, пожалуйста, ответьте
Я хочу сравнить один файл с другим в Pig, и я хочу, чтобы один из файлов находился в...
1107 просмотров
schedule
05.07.2023
Масштабирование Terracota — бесплатно и с открытым исходным кодом?
Масштабирование Terracota ehcache на различные узлы с открытым исходным кодом или это коммерческий продукт? Судя по всему, раньше коммерческая лицензия не требовалась, а теперь требуется.
Из http://ehcache.org/ — «Для приложений, требующих...
192 просмотров
schedule
07.05.2023
Карта Уменьшить распределенный кэш
Я не могу скомпилировать свой DriverClass в предложении job.waitforcompletion(boolean). Это дает мне исключение NoClassFoundException. Если я поймаю исключение, метод запуска выдает ошибку, ожидающую значение int. Я использую MapReduce New API. Может...
312 просмотров
schedule
21.10.2022
Чтение файла внутри драйвера Hadoop
Можно ли прочитать файл в распределенном кеше внутри драйвера Hadoop? Я реализовал интерфейс инструмента и использую -files для добавления файла в распределенный кеш.
Или этот файл будет скопирован в распределенный кеш после того, как я начну свою...
40 просмотров
schedule
21.05.2023
Невозможно прочитать файл последовательности из распределенного кеша в EMR
Я пытаюсь упорядочить файл из распределенного кеша в EMR, но не могу прочитать файл из распределенного кеша в EMR. Мой код отлично работает на локальном компьютере, но у меня возникают проблемы с emr. Вот мой фрагмент кода-
Помещение файла...
216 просмотров
schedule
27.11.2022
Сеанс распределенного кэша Wildfly 17 Infinispan не найден
Я пытаюсь настроить wf 17 с распределенным кешем для сеансов, но у меня проблемы с его правильной работой. Это распределенная конфигурация, я использую базовую аутентификацию, и когда мы отправляем сообщение в /j_security_check, оно отправляется на...
417 просмотров
schedule
18.11.2022
