Мне интересно, есть ли причина, по которой файлы lmdb, использующие в caffe намного больше, чем файл, содержащий исходные изображения. Не могли бы вы дать мне объяснение, пожалуйста?
Caffe большие файлы типа lmdb
Ответы (1)
Трудно дать конкретный ответ на такой абстрактный вопрос, но я попробую:
Файлы изображений обычно сжаты: .png или .jpg размером h на w на 3 занимают гораздо меньше места на диске, чем h*w*3 байт из-за сжатия. С другой стороны, для обработки изображения в нейронной сети (или любом другом программном обеспечении машинного обучения) вам необходимо работать с несжатым представлением изображения. Таким образом, наборы данных lmdb, leveldb, hdf5, используемые caffe, хранят входные изображения в несжатом виде, используя 32-битные числа с плавающей запятой для каждого пикселя (вместо uint8), что резко увеличивает размер файла.
person
Shai
schedule
18.12.2015
Спасибо за ответ. Я просто хочу убедиться, что это обычная ситуация, и я не сделал никаких ошибок. Спасибо, Шай.
- person Skonitsa; 18.12.2015
@ user5640428: В дополнение к этому ответу: caffe может работать со сжатыми изображениями, хранящимися в
lmdb. Если вы используете инструмент convert_imageset из caffe, вы можете передать параметр -encode_type=png или -encode_type=jpg для сохранения закодированных изображений в lmdb. Это значительно уменьшит размер вашей базы данных, но потребует дополнительного времени на этапе обучения/тестирования для декодирования изображений.
- person avtomaton; 18.12.2015
@avtomaton, мне было бы интересно использовать эту технику, так как я использую плату разработчика почти без памяти, и мне нужно использовать USB-накопитель для передачи информации. Вы пробовали это раньше успешно? Кроме того, нужно ли мне добавлять дополнительные команды при запуске моей сети, или caffe будет декодировать ее по умолчанию? Спасибо
- person jerpint; 03.06.2016
@jerpin Это интересный вопрос. зачем хоронить это в комментарии? пожалуйста, рассмотрите публикацию как вопрос
- person Shai; 03.06.2016
@Shai Я отправил вопрос здесь, спасибо
- person jerpint; 06.06.2016
