Моя модель слишком велика, чтобы получить партию> 64 с обычными устройствами TPU v2. На сайте устранения неполадок упоминается, что в следующих версиях tenorflow будет bfloat16 служба поддержки. Могут ли недавно поддерживаемые версии tf 1.9–1.12 использовать bfloat16, и если да, то есть ли ограниченный набор оптимизаторов, которые я могу использовать? Я не нашел дополнительной документации по этому поводу, но видел использование bfloat16 в модели tensor2tensor, поэтому я думаю, что должен быть способ.
Кроме того, я читал, что TPU v3 также поддерживает более крупные модели, но модель потребует минимальных изменений, но я не нахожу документации, что нужно изменить.
Я уже использую Adafactor и пытался уменьшить мои слои, если у вас есть дополнительные советы по уменьшению, это тоже было бы здорово. Я использую матрицы изображений и векторы слов (на данный момент float32) в качестве входных данных.