Вопросы по теме 'chunking'
Выгрузка больших двоичных объектов в блоки с использованием REST API истекает во втором фрагменте
ПРИМЕЧАНИЕ. Может ли кто-нибудь дать мне пример строки SAS (с добавлением информации о блоке в правой области), которую необходимо отправить в хранилище BLOB-объектов Azure? Я думаю, что это проблема, которая у меня возникла. Мне нужно выяснить...
915 просмотров
schedule
06.10.2021
Файл перемещен временно ошибка при загрузке файла на Google диск
Я пытаюсь загрузить файл с диска Google, используя V3 rest api, используя приведенный ниже код.
public static void downloadFileAsChunksGdrive() throws IOException {
String accessToken = "XYZ";
Credential credential...
584 просмотров
schedule
14.09.2021
Как исправить: [reduce () принимает не более 5 аргументов (задано 6)] эту ошибку при фрагментировании?
Я работаю над приложением синтаксического анализатора резюме в NLP. Следовательно, мне нужно разбить данные в нем. Я использую для этого модуль Spacy. Для этого я попытался создать экземпляр import en_core_web_sm nlp = en_core_web_sm.load () После...
944 просмотров
schedule
16.10.2021
загрузить файл на стороне клиента по частям
Я использую WebRTC для отправки файла подключенному узлу, и я отправляю файл частями. Однако у меня возникли проблемы с выяснением, как заставить однорангового узла сохранять / загружать файл по мере его потоковой передачи, фрагмент за фрагментом....
12347 просмотров
schedule
08.04.2022
Проблемы с фрагментированием запросов из ниоткуда в Chrome, Firefox и cURL
Из, казалось бы, ниоткуда на моем производственном сервере возникает ошибка фрагментации по определенному запросу. На сервере не было изменено ни одного файла конфигурации, и ничего другого на сервере не изменилось. Я даже не уверен, с чего начать...
52 просмотров
schedule
17.04.2022
Преобразование Lazy ByteString в строгую ByteString
У меня есть функция, которая принимает ленивый ByteString , что я хочу иметь возвращаемые списки strict ByteStrings (лень переводить на списочный тип вывода).
import qualified Data.ByteString as B
import qualified Data.ByteString.Lazy as L...
10012 просмотров
schedule
01.05.2022
Производительность фрагментации файлов в C#
Я пытаюсь дать пользователям возможность загружать большие файлы. Прежде чем загрузить файл, я хочу разбить его на части. Каждый фрагмент должен быть объектом C#. Причина в том, что для целей ведения журнала. Это длинная история, но мне нужно...
3227 просмотров
schedule
04.05.2022
Производительность сжатия, связанная с размером блока в файлах hdf5
Я хотел бы задать вопрос о производительности сжатия, которая связана с размером блока файлов hdf5.
У меня есть 2 файла hdf5 со следующими свойствами. Оба они содержат только один набор данных, называемый «данными».
"Данные" файла А:
Тип:...
5374 просмотров
schedule
29.04.2022
Скрытое поле Viewstate настолько велико, что все рушится
По какой-то причине состояние просмотра моего приложения стало гигантским (около 14 миллионов символов). Это добавляет около 1 минуты времени загрузки. Если страница, наконец, загружается (что бывает нечасто), сервер падает каждый раз, когда кто-то...
3537 просмотров
schedule
30.05.2022
как разделить объект чтения csv (dict) в python 3.2?
Я пытаюсь использовать Pool из модуля multiprocessing для ускорения чтения больших файлов csv. Для этого я адаптировал пример (из py2k), но похоже, что объект csv.dictreader не имеет длины. Означает ли это, что я могу только перебирать его? Есть...
1946 просмотров
schedule
11.07.2022
Преобразование чистого дерева NLTK в структуру чанкера NLTK
Я новичок в python и борюсь с концепцией типов данных и их преобразованиями.
У меня есть предложения в формате дерева NLTK (полученные из синтаксического анализатора Стэнфорда и преобразованные в дерево NLTK). Мне нужно применить функции,...
448 просмотров
schedule
03.08.2022
Самый быстрый способ Python прочитать большой текстовый файл (несколько ГБ)
у меня есть большой текстовый файл (~ 7 ГБ). Я ищу, существует ли самый быстрый способ прочитать большой текстовый файл. Я читал об использовании нескольких подходов, таких как чтение по частям, чтобы ускорить процесс.
например, effbot...
94099 просмотров
schedule
08.09.2022
Лучший способ сохранить файл на сервере, который загружается по частям?
В основном я ищу лучший способ хранить частичные загрузки на сервере. Файлы будут загружаться по частям. Чанки могут идти параллельно и в произвольном порядке. Мне нужно будет временно сохранить их где-нибудь в некоторой форме, а затем построить...
748 просмотров
schedule
19.09.2022
Фрагментарное HTTP-кодирование. Нужен пример «Трейлера», упомянутого в SPEC
Я пишу парсер HTTP для прозрачного прокси. Что меня ставит в тупик, так это Trailer: , упомянутое в спецификациях для Transfer-Encoding: chunked . На что это похоже?
Обычно HTTP-фрагмент заканчивается так.
0\r\n
\r\n
Что меня смущает,...
19035 просмотров
schedule
11.07.2023
python: есть ли библиотечная функция для разделения входного потока?
Я хочу разделить входной поток для пакетной обработки. Учитывая входной список или генератор,
x_in = [1, 2, 3, 4, 5, 6 ...]
Мне нужна функция, которая будет возвращать куски этого ввода. Скажем, если chunk_size=4 , то,
x_chunked = [[1,...
1784 просмотров
schedule
06.12.2022
Семантический анализ с помощью NLTK
Я пытаюсь использовать NLTK для семантического разбора голосовых навигационных команд, таких как «поехать в Сан-Франциско», «проложить маршрут до 123 Main Street» и т. д.
Это можно сделать с помощью довольно простой грамматики CFG, такой как
S...
3600 просмотров
schedule
04.12.2022
Фрагментирование HDF5 без сжатия приводит к увеличению размера файла
У меня есть несжатый файл HDF5 размером 460 МБ. Я использую h5repack для сохранения файла со сжатыми фрагментами, например:
h5repack -v -l CHUNK=128x128x1 -f GZIP=1 file.h5 file_chunked.h5
Это прекрасно работает, и размер полученного файла...
299 просмотров
schedule
14.05.2023
Двойные теги сценария для маршрута, запрошенного в SSR
У меня есть репозиторий SSR (inferno-react как lib), связанный с использованием webpack . Он имеет 2 файла маршрута, 1 для сервера и 1 для клиента, точно такие же, но фрагментация происходит на стороне клиента с использованием require.ensure. Один...
213 просмотров
schedule
03.06.2023
Как прочитать большой файл .XLS по частям, не загружая его сразу в оперативную память
Я пытаюсь анализировать различные типы очень больших файлов Excel (.csv, .xlsx, .xls)
Рабочие (.csv/.xlsx) потоки
.csv можно разбить на фрагменты с помощью pandas.read_csv(file, chunksize=chunksize)
.xlsx можно разбить на фрагменты,...
416 просмотров
schedule
13.11.2022
Удалить теги части речи после фрагментации
Как удалить теги части речи из результатов фрагментации? Я использую NLTK для этого. В настоящее время я могу только перебирать фрагменты, используя этот код:
for i in sent_list:
tagged = nltk.pos_tag(i)
ChunkGram = r"""Chunk:...
275 просмотров
schedule
19.08.2023
