Вопросы по теме 'lmdb'
Есть ли ограничение на количество под-баз данных в LMDB?
Публикация здесь, поскольку я не смог найти форумов для хранилища ключей lmdb.
Есть ли ограничение на подбазы данных? Какое разумное количество одновременно открытых под-баз данных?
Я хотел бы иметь ~ 200 баз данных, что кажется большим и ясно...
1836 просмотров
schedule
03.10.2021
LMDB максимальный размер базы данных для windows
Когда я устанавливаю максимальный размер db, например, 5G, в Windows окончательный размер файла db станет 5G, даже если я вставляю только один небольшой фрагмент данных. Но в Linux это работает нормально, окончательный размер базы данных зависит от...
2994 просмотров
schedule
29.10.2021
Изменение Caffe для приема 16-битных данных внутри lmdb
Я пытаюсь внести некоторые изменения в Caffe, чтобы принять мои 16-битные данные. Мне удалось создать набор данных lmdb, заполненный 16-битным беззнаковым, некодированным изображением 256x256 вместо обычных 8-битных беззнаковых данных caffe,...
496 просмотров
schedule
13.11.2021
Тестирование из файла LMDB в Caffe
Мне интересно, как настроить ТОЛЬКО тестовую фазу в Caffe для файла LMDB. Я уже обучил свою модель, все кажется хорошим, мои потери уменьшились, и результаты, которые я получаю на изображениях, загружаемых одно за другим, также кажутся хорошими....
1605 просмотров
schedule
21.09.2021
Я использую смещение для доступа к элементам в базе данных LMDB, но это очень медленно. Это почему?
Я поместил свою полную базу данных LMDB в один чрезвычайно большой массив байтовых строк ключа / значения, связанный с одним ключом (единственным в моей базе данных LMDB). Таким образом, я получаю доступ к нужным мне значениям по смещению, смещение -...
558 просмотров
schedule
22.11.2021
как добавить данные в существующую LMDB?
У меня есть около 1 миллиона изображений, которые нужно поместить в этот набор данных, по 10000 за раз, добавленных к набору.
Я уверен, что map_size не соответствует ссылке из этой статьи
использовал эту строку для создания набора
env =...
3904 просмотров
schedule
21.02.2022
Разница между деревьями LMDB и STX
Я хотел бы использовать in-memory btree. Я рассматриваю LMDB и STX. Я ценю помощь в понимании разницы между ними. Среди прочего в контексте параллелизма (я не уверен, поддерживает ли его STX)
223 просмотров
schedule
27.02.2022
Как хранить большие значения (10 МБ) с помощью базы данных хранилища ключей?
Рассмотрим систему, в которой требуется хранить в основном небольшие значения (1–1000 байт), но в некоторых случаях необходимо хранить большое значение (10 МБ). Он содержит список хэшей (подумайте о списке открытых ключей для подписи EDDSA)
В...
309 просмотров
schedule
22.05.2022
Как преобразовать набор данных Open Image в LMDB
В настоящее время я работаю в Caffe framework. Чтобы создать модель кафе, мне нужно создать файл LMDB из набора данных изображения. Я использую набор данных изображений Open Images. для этого я скачал открытый набор данных изображений из здесь и...
275 просмотров
schedule
03.06.2022
Ошибка при создании файла базы данных LMDB в Python для Caffe
Я пытаюсь создать файл базы данных LMDB на Python для использования с Caffe в соответствии с этот учебник. Команды import numpy as np и import caffe работают отлично. Однако, когда я пытаюсь запустить import lmdb и import deepdish as dd , я...
11230 просмотров
schedule
24.06.2022
NVIDIA DIGITS - несколько уровней ввода
У меня вопрос по NVIDIA DIGITS Framework. Итак, я использовал caffe без ЦИФРОВ и до сих пор использовал слои HDF5. Там я мог использовать несколько входов "top" (data_0, data_1, data_2) (см. Код ниже). Так что я мог кормить сеть более чем одним...
249 просмотров
schedule
03.07.2022
Ключи в LMDB для обучения Caffe
Я новичок в Caffe. Документация непонятна по теме моего вопроса.
При создании обучающих / тестовых баз данных в LMDB для Caffe есть ли смысл в ключах в базе данных?
Другими словами, использует ли Caffe какую-либо информацию из ключей LMDB или...
545 просмотров
schedule
21.07.2022
Caffe большие файлы типа lmdb
Мне интересно, есть ли причина, по которой файлы lmdb, использующие в caffe намного больше, чем файл, содержащий исходные изображения. Не могли бы вы дать мне объяснение, пожалуйста?
952 просмотров
schedule
21.03.2023
Метки как матрица в данных LMDB с использованием python
Я хочу создать данные lmdb в python, где метки не являются скалярами, но каждая метка представляет собой вектор (1, K), а K - количество классов. В частности, вектор метки имеет нули везде, кроме соответствующего индекса класса, который у вас есть 1....
778 просмотров
schedule
30.06.2023
данные, возвращаемые из lmdb, становятся недействительными после любого изменения базы данных?
в документации lmdb (Lightning Memory-Mapped Database) упоминается следующее в отношении достоверности возвращаемых данных:
Значения, возвращаемые из базы данных, действительны только до последующей операции обновления или завершения...
118 просмотров
schedule
22.12.2022
Данные не считываются при использовании курсора lmdb в Python
У меня есть база данных lmdb, и я пытаюсь прочитать ее содержимое. Ирония в том, что на экране ничего не печатается. Это фрагмент кода, который я написал для чтения из lmdb:
import caffe
import lmdb
import numpy as np
from caffe.proto import...
1058 просмотров
schedule
02.12.2022
caffe convert_imageset в ожидании
Когда я конвертирую набор данных ImageNet в lmdb, convert_imageset приостанавливает работу и больше не обрабатывает данные изображения. Можете ли вы сказать мне, как решить эту проблему? Я пробовал это много раз. Я проверил журнал. Каждый раз...
53 просмотров
schedule
18.11.2022
Ограничьте использование оперативной памяти при создании LMDB
Я пытаюсь создать LMDB с 6 соединенными изображениями в качестве меток. Мой скрипт на питоне выглядит так:
in_db = lmdb.open('image-lmdb', map_size=int(1e12), writemap=True)
with in_db.begin(write=True) as in_txn:
for in_idx, in_ in...
465 просмотров
schedule
02.10.2023
Ошибка: использование необъявленного идентификатора PTHREAD_MUTEX_ROBUST в сборке грузов liblmdb-sys для цели aarch64-linux-android
Я пытаюсь скомпилировать проект rust в целевой Android (aarch64 -линукс-андроид).
Из комментариев в код lmdb , кажется, нужно запустить компиляцию
"aarch64-linux-android-gcc" "-O2" "-ffunction-sections" "-fdata-sections" "-fPIC"...
604 просмотров
schedule
14.08.2023
Имеет ли открытие нескольких lmdb-сред в одном и том же клиентском процессе законный вариант использования или это избыточно?
§1 1 среда lmdb соответствует одному файлу базы данных на диске. §2 Теоретически один и тот же клиентский процесс может вызывать lmdb-c-api несколько раз для создания различных сред lmdb.
Вопрос в том, является ли §2 избыточным, или у клиента...
212 просмотров
schedule
13.12.2022
