Вопросы по теме 'large-files'
Есть ли распределенная VCS, которая может управлять большими файлами?
Существует ли распределенная система контроля версий (git, bazaar, mercurial, darcs и т. Д.), Которая может обрабатывать файлы, размер которых превышает доступную оперативную память?
Мне нужно иметь возможность фиксировать большие двоичные файлы...
5187 просмотров
schedule
07.10.2021
Как можно объединить два огромных файла с очень маленьким свободным дисковым пространством?
Предположим, у вас есть два огромных файла (несколько ГБ), которые вы хотите объединить вместе, но у вас очень мало свободного дискового пространства (скажем, пара сотен МБ). То есть, учитывая file1 и file2 , вы хотите получить один файл, который...
3705 просмотров
schedule
02.11.2021
Какой самый быстрый способ создать контрольную сумму для больших файлов на C #
Мне нужно синхронизировать большие файлы на некоторых машинах. Размер файлов может составлять до 6 ГБ. Синхронизация будет выполняться вручную каждые несколько недель. Я не могу принять во внимание имя файла, потому что оно может измениться в любое...
112063 просмотров
schedule
08.09.2021
Загрузка больших файлов в WSS v3
Я создал приложение WSSv3, которое загружает файлы небольшими порциями; когда приходит каждый фрагмент данных, я временно сохраняю его в поле типа данных изображения SQL 2005 по соображениям производительности **.
Проблема возникает, когда...
1658 просмотров
schedule
18.10.2021
Как аккуратно обрабатывать исходный код и данные в репозитории
Я работаю над совместным научным проектом, который состоит из нескольких скриптов Python (максимум 1 млн) и относительно большого набора данных (1,5 ГБ). Наборы данных тесно связаны со сценариями Python, поскольку сами наборы данных являются наукой,...
131 просмотров
schedule
11.10.2021
Как соединить пары последовательных строк в большом файле (1 миллион строк) с помощью vim, sed или другого подобного инструмента?
Мне нужно переместить содержимое каждой второй строки на строку выше, чтобы данные строки2 находились рядом с строкой1, работает либо запятая, либо разделенная пробелом.
Вход:
line1
line2
line3
line4
Выход:
line1 line2
line3 line4...
11299 просмотров
schedule
21.09.2021
обработка больших текстовых файлов в PHP
Как обработать большой текстовый файл в PHP? В python можно использовать генераторы и читать файл построчно, не загружая весь файл в память. Есть ли в PHP что-то вроде генераторов?
805 просмотров
schedule
28.09.2021
Чтение и синтаксический анализ файла Json на C #
Я потратил большую часть двух дней, «возясь» с образцами кода и т. Д., Пытаясь прочитать очень большой файл JSON в массив на C #, чтобы позже я мог разделить его на 2-мерный массив для обработки.
Проблема, с которой я столкнулся, заключалась в том,...
735665 просмотров
schedule
28.11.2021
Преобразование большого файла json через код или нет
после попытки работать с mongoDB и обнаружения, что он не работает с документами, размер которых превышает 16 мегапикселей. мне нужно найти способ загрузить большой сложный файл json (я думаю, в память). и чтобы преобразовать его в мою потребность...
209 просмотров
schedule
27.09.2021
оптимизация последовательных операций ввода-вывода для файлов большого размера
Compiler: Microsoft C++ 2005 Hardware: AMD 64-bit (16 GB)
Последовательный доступ только для чтения из файла размером 18 ГБ фиксируется со следующими характеристиками времени, доступа к файлу и файловой структуры: 18 184 359 164 (длина файла)...
443 просмотров
schedule
22.10.2021
Попробуйте найти лучший способ манипулировать большими, множественными txt-файлами через несколько каталогов с помощью скрипта Ruby.
Я работаю над сбором данных о тестовых измерениях продукта в производственной среде. Результаты тестовых измерений тестируемых устройств генерируются тестовой системой. Он находится в текстовом файле размером 2 Мб и хранится в общих папках,...
67 просмотров
schedule
19.09.2021
Papa Parse и большие файлы csv
У меня есть 2-гигабайтный файл csv для анализа, и я думаю, что node разрешает использование памяти только ниже 1 гигабайта, и я получаю эту ошибку:
Attempt to allocate Buffer larger than maximum size: 0x3fffffff bytes.
Я хотел бы передать...
1301 просмотров
schedule
29.11.2021
Как отсортировать файл размером 10 ГБ?
Я пытаюсь отсортировать большую таблицу, хранящуюся в файле. Формат файла (ID, intValue)
Данные отсортированы по ID , но мне нужно отсортировать данные с помощью intValue в порядке убывания.
Например
ID | IntValue
1 | 3
2 | 24
3 |...
5476 просмотров
schedule
24.10.2021
Java - Совет по работе с большими массивами, как его разбить
Надеюсь, у тебя все хорошо. Я делал код для программы, которая будет иметь дело с большим количеством элементов массива. Например, в массиве A [] будут все слова, начинающиеся с буквы «а». Теперь, если я помещу все в один класс, программа не сможет...
25 просмотров
schedule
13.10.2021
Чтение и обработка большого текстового файла через каждые 2000 символов с новой строкой в нем.
У меня есть большой текстовый файл, который нужно обрабатывать после каждых 2000 символов с новой строкой, которую я сделал, пока
string FilePath = Path.Combine(strFullProcessedPath, strFileName);
StreamReader reader = new...
386 просмотров
schedule
24.10.2021
Как сделать MultiLabelBinarizer в огромном списке списков
Я пытаюсь обучить алгоритм OneVsRest, где он получает матрицу tf-idf (называемую x_train), которая имеет такую форму:
‹3323504x900282 разреженная матрица типа 'с 119378243 сохраненными элементами в формате сжатой разреженной строки>
и...
1650 просмотров
schedule
09.09.2021
Настройка IBM MQ для передачи большого количества файлов
У меня есть проект по передаче файла с помощью IBM MQ. Есть 10000 клиентов и один дата-центр. Самый большой размер файла - почти 8 МБ. Кластер MQ содержит три менеджера MQ, которые находятся на разных серверах Windows. Каждый менеджер MQ имеет 5...
302 просмотров
schedule
07.10.2021
Загрузка файла большого размера (более 1 ГБ) на Amazon S3 с использованием Java: большие файлы временно занимают много места на сервере
Я пытаюсь загрузить большие файлы (более 1 ГБ) на amazon S3 с помощью Java
Я использую многостраничную загрузку AWS S3 для загрузки больших файлов кусками. https://docs.aws.amazon.com/AmazonS3/latest/dev/HLuploadFileJava.html
Я также...
1155 просмотров
schedule
12.09.2021
Библиотека параллельных задач — поведение фабрики задач
У меня есть большой (> 1 Гб) текстовый файл. Мне нужно обрабатывать этот файл построчно (применять бизнес-логику) в многопоточном режиме, поэтому я написал следующий код:
public Task Parse(Stream content, Action<Trade> parseCallback)
{...
327 просмотров
schedule
24.02.2022
Обработка больших файлов — разрывы алгоритма чтения — C#
Итак, у меня есть алгоритм, который читает из (очень большого, ~ 155+ МБ) двоичного файла, анализирует его в соответствии со спецификацией и записывает необходимую информацию (в CSV, плоский текст). Он безупречно работает для первых 15,5 миллионов...
4042 просмотров
schedule
28.02.2022
