График Tensorflow больше 2 ГБ

Я пытаюсь оптимизировать сохраненную модель большого тензорного потока с 10 МБ saved_model.pb и 16 ГБ переменных. Я попытался «заморозить» свой график и сделать еще несколько преобразований. Я выполнил шаги https://medium.com/google-cloud/optimizing-tensorflow-models-for-serving-959080e9ddbf и застрял в замороженной_модели. Поскольку моя сохраненная модель велика, я получил замороженный график размером 4,5 ГБ, что превышает ограничение protobuf на 2 ГБ.

ValueError: Message tensorflow.GraphDef exceeds maximum protobuf size of 2GB: 4581102620

Из-за этого ограничения я не мог выполнять дальнейшую оптимизацию, например квантование, или сохранять ее обратно в сохраненную модель. Какие-нибудь решения?


person Roy Huang    schedule 02.01.2020    source источник
comment
У меня похожая проблема. Вы нашли решение?   -  person Marios V    schedule 21.04.2020
comment
@MariosV Еще нет. Я планирую разбить свой график на более мелкие, чтобы можно было оптимизировать.   -  person Roy Huang    schedule 23.04.2020
comment
@RoyHuang, пожалуйста, обратитесь к этому ответу на переполнение стека, stackoverflow.com/a/36358913/11530462, который дает советы по уменьшению размера вашего размера Protobuf. Спасибо!   -  person Tensorflow Support    schedule 17.09.2020