Google Coral: есть ли ограничение на размер модели?

Я хотел использовать относительно большую модель (~ 300 МБ Tflite), но меня беспокоит, что она может не поддерживаться Google Coral из-за своего размера. Вот откуда мои вопросы.

  • Как именно это работает? Загружена ли модель в сам Коралл? Или Google Coral действует как сопроцессор, когда центральный процессор передает ему задачи и дает результаты?
  • Если он действительно загружен, какой размер модели / данных он может поддерживать?

Большая часть информации, которую я прочитал, подразумевает, что он не может справиться со многими, поскольку они говорят, например, о YOLOv4-Tiny и mobilenet-ssd. Однако этот ответ создает впечатление, что для Google Coral нет ограничений по размеру.

Я действительно читал, что Google Coral имеет 8 МБ SRAM, но похоже, он используется как кеш.


person Aloha    schedule 29.01.2021    source источник
comment
Ваша модель TPU tflite составляет ~ 300 МБ?   -  person Manoj    schedule 05.03.2021
comment
@Manoj Да, это так   -  person Aloha    schedule 09.03.2021
comment
Я считаю, что 300 МБ - это слишком много для EdgeTPU. Пожалуйста, прочтите: Edge TPU имеет примерно 8 МБ SRAM, которая может кэшировать данные параметров модели. Однако небольшой объем ОЗУ сначала резервируется для исполняемого файла вывода модели, поэтому данные параметров используют все пространство, оставшееся после этого. Естественно, сохранение данных параметров в RAM Edge TPU обеспечивает более высокую скорость вывода по сравнению с извлечением данных параметров из внешней памяти.   -  person Manoj    schedule 10.03.2021