Вопросы по теме 'gnu-parallel'
Как мне эффективно распечатать список объектов JSON?
У меня есть список уродливых объектов JSON в текстовом файле, по одному в каждой строке. Я бы хотел, чтобы они красиво печатались и отправляли результаты в файл.
Моя попытка использовать версию json.tool для командной строки на Python:...
2791 просмотров
schedule
29.11.2021
gnu parallel mysql ЗАГРУЗИТЬ ДАННЫЕ ЛОКАЛЬНЫЙ ИНФАЙЛ
Я пытаюсь использовать GNU parallel для выполнения нескольких команд mysql LOAD DATA LOCAL INFILE, где:
{1} - это имя файла, который я получаю из командной строки поиска UNIX.
{2} - результат chop.pl скрипта, который распечатывает...
391 просмотров
schedule
22.11.2021
GNU Parallel: как начать замену строки номера задания с нуля
Я очень доволен скоростью использования GNU parallel с разделением экспортных файлов базы данных CSV размером в несколько ГБ на управляемые части. Однако проблема, с которой я столкнулся, заключается в том, что я хочу, чтобы имена моих выходных...
433 просмотров
schedule
14.11.2021
gnu parellel повторно запускается, когда он терпит неудачу, с помощью цикла while
Предполагая, что у нас есть файл csv
1
2
3
4
Вот код:
cat A.csv | while read A; do
echo "echo $A" > $A.sh
echo "$A.sh"
done | xargs -I {} parallel --joblog test.log --jobs 2 -k sh ::: {}
Вышеупомянутое - упрощенный случай. Но...
203 просмотров
schedule
15.09.2021
GNU Parallel с порядковым номером `{#}` и опцией `-n`
Использование GNU Parallel 20210222 с --rpl '{0#} $_=sprintf("%02d",$job->seq())' в моем ~/.parallel/config , почему
seq 256 | parallel -n 64 echo {0#}
выход
01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01 01...
37 просмотров
schedule
04.11.2021
PBS: параллели GNU: хосты распределены по-разному, многопроцессорное задание, несколько заданий для некоторых хостов
С PBSpro я могу запрашивать ресурсы для выполнения своей работы. Моя работа с параллельным кластером сводится к многократному запуску одного и того же файла, каждый раз с другим идентификатором индекса/задания. Каждая задача порождает свои...
341 просмотров
schedule
17.03.2022
параллель: как передать параметры командам
Для распараллеливания сжатия gzip:
parallel gzip ::: myfile_*
выполняет свою работу, но как передать параметры gzip, такие как -r или -9
Я пробовал parallel gzip -r -9 ::: myfile_* и parallel gzip ::: 9 r myfile_*
но это не...
6978 просмотров
schedule
06.04.2022
Создание потока OpenMP
В приведенном ниже коде будет ли среда выполнения OpenMP повторно создавать потоки или повторно использовать ранее созданные потоки, т. е. использовать пул потоков?
Некоторые коллеги утверждали, что это приведет к повторному созданию потоков,...
618 просмотров
schedule
13.04.2022
Поиск одного регулярного выражения для очень большого файла
file.xml — это большой файл размером 74 ГБ, мне нужно как можно быстрее найти для него одно регулярное выражение. Я пытаюсь сделать это с помощью GNU parallel :
parallel --pipe --block 10M --ungroup LC_ALL=C grep -iF "test.*pattern" <...
154 просмотров
schedule
01.05.2022
GNU Parallel — обнаружение завершения параллельного запуска команды
Итак, у меня есть ситуация, когда я запускаю множество команд с параллельным выполнением и передаю вывод в другой скрипт, который потребляет вывод. Проблема, с которой я сталкиваюсь, заключается в том, что мой сценарий, выполняющий обработку вывода,...
847 просмотров
schedule
29.05.2022
Параллель GNU: разные команды для разных компьютеров?
Выполнили поиск в параллельном руководстве по SO и GNU и просмотрели примеры здесь , но до сих пор не совсем понимаю, что мне нужно решить. Любые советы о том, как я могу выполнить следующее:
Мне нужно вызвать один и тот же скрипт на нескольких...
324 просмотров
schedule
08.06.2022
Параллельные задания GNU не порождают
После обновления до Debian 8.6 Jessie параллельный скрипт GNU внезапно перестал распараллеливать более двух заданий с параметрами --pipe и -L.
Перед обновлением команда:
cat file_with_1064_lines.txt | parallel -L10 -j5 -k -v --pipe "wc -l"...
190 просмотров
schedule
16.06.2022
Как я могу остановить параллельные задания gnu, когда любое из них завершается?
Предположим, я запускаю N заданий с помощью следующей команды gnu parallel:
seq $N | parallel -j 0 --progress ./job.sh
Как я могу вызвать parallel, чтобы убить все запущенные задания и больше не принимать их, как только любое из них завершится?
1889 просмотров
schedule
29.06.2022
GNU Parallel — несколько аргументов
Используя GNU parallel , я пытаюсь запустить сценарий подвыборки, который вводит два файла и выводит определенный файл подвыборки. Я использую эту команду:
parallel -j+0 --eta python sub_sample_.2.py ::: file1 file2 ::: file3 file4 ::: file5...
1516 просмотров
schedule
02.07.2022
Как установить или переключиться на более старую версию GNU Parallel?
Я работаю над проблемой, связанной с GNU Parallel, где мы подозреваем ошибку в самой последней параллельной версии GNU ( Как избежать ошибки SIGCHLD в сценарии Bash, использующем GNU Parallel ), и я хотел бы вернуться к более старой версии....
373 просмотров
schedule
24.07.2022
Как использовать gnu_parallel для запуска исполняемого файла из списка файлов?
В настоящее время я учусь использовать пакет gnu_paralle. Я прочитал https://www.gnu.org/software/parallel/man.html#EXAMPLE:-Working-as-xargs--n1.-Argument-appending
а также несколько других ресурсов и успешно изучил синтаксис.
На данный...
48 просмотров
schedule
08.08.2022
Разница в производительности массива заданий slurm и шага задания
Я выполняю множество параллельных заданий в slurm (около 1000), и каждое из них должно быть назначено одному процессору. Прочитав документацию по slurm , я обнаружил следующее:
Лучшие Лрактики, Большое количество вакансий
Рассмотрите...
374 просмотров
schedule
12.08.2022
Как использовать rsync вместо scp в моем нижеприведенном сценарии оболочки для копирования файлов?
Я использую scp для параллельного копирования файлов, используя параллель GNU с моим нижеприведенным сценарием оболочки, и он работает нормально.
Я не уверен, как я могу использовать rsync вместо scp в моем нижеприведенном сценарии оболочки. Я...
3667 просмотров
schedule
03.09.2022
Эффективная параллельная загрузка и распаковка с соответствующим шаблоном для списка файлов на сервере
Каждый день каждые 6 часов мне приходится скачивать bz2 файлов с веб-сервера, распаковывать их и объединять в один файл. Это должно быть максимально эффективным и быстрым, поскольку мне нужно дождаться завершения фазы загрузки и распаковки, прежде...
95 просмотров
schedule
03.09.2022
Как запустить сжатие в параллели с gnu?
Привет, я пытаюсь сжать файл с помощью команды bgzip
bgzip -c 001DD.txt > 001DD.txt.gz
Я хочу запустить эту команду параллельно. Я старался:
parallel ::: bgzip -c 001DD.txt > 001DD.txt.gz
но это дает мне эту ошибку:
parallel:...
46 просмотров
schedule
11.09.2022
