Сколько времени займет обучение модели VGG-16 в IMAGENET с использованием GOOGLE COLAB TPU?

Очень сложно точно оценить, сколько времени потребуется для обучения модели e2e. Но предполагая, что вы просто ищете очень приблизительную оценку, мы можем начать с того, что у нас есть реализация ResNet50 (code) достигает конвергенции (точность 76%+ top1, обученная на 90 эпохах) примерно за 7,3 часа на устройстве TPU v2-8. Учитывая, что VGG16 достаточно близки по времени шага (https://github.com/jcjohnson/cnn-benchmarks#cnn-benchmarks) Я ожидаю, что конвергенция также будет пропорциональна этому. Однако следует отметить, что это очень грубая оценка, и фактическая производительность также будет зависеть от того, насколько оптимизирована реализация.

Вот официальный пример TPU. Обучение VGG-16 на оптимизированном наборе данных tfrecord с 2990 изображениями поездов, IMAGE_SIZE = [331, 331], batch_size=128, 12 epochs занимает 2 минуты 15 секунд. Я думаю, что обучение с 1,281,167 ImageNet images займет approximately 15 hours.