Публикации по теме 'tensorflow-serving'
Обслуживание Tensorflow и эластичный вывод
Подача тензорного потока и эластичный вывод: меч бедняка
Сообщество машинного обучения прошло долгий путь от запуска моделей на машинах в хорошо финансируемых частных лабораториях до запуска моделей на периферийных устройствах и в облаке. Индустрия эволюционировала, чтобы удовлетворить практически все типы оборудования и бизнес-требования.
Доступность моделей с открытым исходным кодом в сочетании с такими сервисами, как Amazon elastic inference и Tensorflow, помогает небольшим..
Развертывание моделей Keras с помощью Tensorflow Serving
В этом сообщении показано, как экспортировать модель Keras и обслуживать ее с помощью Tensorflow Serving с входными данными в виде изображений base64.
👉 перейти прямо к коду
(обязательное условие) Построить и обучить модель Keras
Этот шаг довольно прост. У нас уже должна быть определена и обучена наша модель. Для краткости в этом примере мы будем использовать предварительно обученную модель Xception.
Сериализация шагов предварительной обработки
Чтобы обслуживающий API мог..
TensorFlow и многое другое с IBM Z
TF, TF Serving, TF Transform для архитектуры процессора s390x
В этом сообщении блога я расскажу о доступности TensorFlow, TensorFlow Serving и TensorFlow Transform в архитектуре процессора s390x, архитектуре для IBM Z и LinuxONE.
Сегодня искусственный интеллект (ИИ) все больше используется как для исследовательских проектов, так и для повышения конкурентоспособности бизнеса. Области машинного обучения (ML) и глубокого обучения (DL) значительно расширились за последнее десятилетие, и..
Вопросы по теме 'tensorflow-serving'
Как развернуть и обслуживать прогнозирование с помощью TensorFlow из API?
Из учебника Google мы знаем, как обучить модель в TensorFlow. Но как лучше всего сохранить обученную модель, а затем выполнить прогноз, используя базовый минимальный api python на рабочем сервере.
Мой вопрос в основном касается лучших практик...
7504 просмотров
schedule
15.11.2021
Ошибка обслуживания TensorFlow
Я установил Tensorflow Serving, как указано на странице установки по адресу https://tensorflow.github.io/serving/setup . Однако когда я следую инструкциям по сборке на странице, я получаю следующую ошибку:
$ bazel build tensorflow_serving/......
601 просмотров
schedule
24.09.2021
Какое влияние оказывает использование графического процессора на производительность обслуживания модели TensorFlow?
Я обучал нейронную сеть на графическом процессоре (1080 ти). Скорость обучения на GPU намного лучше, чем на CPU.
В настоящее время я хочу обслуживать эту модель с помощью TensorFlow Serving. Мне просто интересно узнать, влияет ли использование...
1518 просмотров
schedule
02.10.2021
Как оптимизировать модель Tensorflow для обслуживания
Я обучил модель с Керасом. Теперь я хочу развернуть его через службу Tensorflow. Поэтому я преобразовал его в формат SavedModel таким образом:
K.set_learning_phase(0)
K._LEARNING_PHASE = tf.constant(0)
# sess = K.get_session()
if not...
799 просмотров
schedule
06.09.2021
Двунаправленная потоковая передача с использованием Tensorflow Serving
У меня есть модель, которая принимает поток данных произвольной длины и выполняет классификацию. Я использую Tensorflow Serving для прослушивания запросов gRPC и выполнения классификации на обученной модели.
Google Cloud Speech API имеет доступную...
593 просмотров
schedule
05.10.2021
Работает ли обслуживание тензорного потока с более чем одним входом (или выходом)?
Согласно: https://blog.keras.io/keras-as-a-simplified-interface-to-tensorflow-tutorial.html#exporting-a-model-with-tensorflow-serving
Любую модель Keras можно экспортировать с помощью TensorFlow-serve (при условии, что у нее есть только один...
2389 просмотров
schedule
21.11.2021
Сбой развертывания предварительно обученного Inception в TensorflowServing: SavedModel не имеет переменных
Описание
Я пытаюсь развернуть один из предварительно подготовленных Модели обнаружения объектов TensorFlow ( faster_rcnn_inception_v2_coco_2018_01_28 ) в службе TF. Я выполняю следующие шаги:
Клонировать...
896 просмотров
schedule
19.11.2021
Как я могу получить результат обученной модели с помощью Kubeflow Fairing?
Я использую обтекатель Kubeflow для тренировки TensorFlow в Kubernetes. Обучение проходит успешно, но теперь я хочу служить конечная точка прогнозирования .
Как я могу получить сохраненный сеанс TensorFlow (веса, смещения и т. Д.) На этапе...
182 просмотров
schedule
20.10.2021
TensorFlow v2: замена tf.contrib.predictor.from_saved_model
До сих пор я использовал tf.contrib.predictor.from_saved_model для загрузки SavedModel ( tf.estimator класс модели). Однако, к сожалению, эта функция была удалена в TensorFlow v2. До сих пор в TensorFlow v1 мой код был следующим:...
2964 просмотров
schedule
22.11.2021
График Tensorflow больше 2 ГБ
Я пытаюсь оптимизировать сохраненную модель большого тензорного потока с 10 МБ saved_model.pb и 16 ГБ переменных. Я попытался «заморозить» свой график и сделать еще несколько преобразований. Я выполнил шаги...
881 просмотров
schedule
08.09.2021
Можно ли использовать модель, обученную с помощью графического процессора, для вывода на процессоре?
Я хочу запустить вывод на ЦП; хотя у моей машины есть графический процессор. Интересно, можно ли заставить TensorFlow использовать процессор, а не графический процессор?
По умолчанию TensorFlow автоматически использует графический процессор для...
78 просмотров
schedule
28.09.2021
tenorflow - ошибка создания прото-файлов assert d в name_to_node_map,
Я использую керасы с тензорным потоком. Я правильно экспортирую модель, но не могу создать прото-файлы.
Проблема в том, что я получаю сообщение об ошибке:
Файл "keras_indians.py", строка 103, в файле minimal_graph =...
1586 просмотров
schedule
09.03.2022
цикл подключения gRPC
Мы настраиваем кластер для обработки логических выводов (с обслуживанием Tensorflow) через gRPC. Мы намерены использовать балансировщик нагрузки уровня 7 (AWS ALB) для распределения нагрузки. Для нашей рабочей нагрузки логический вывод будет...
97 просмотров
schedule
07.03.2022
Ошибка сегментации оценки API обнаружения объектов tenorflow
У меня возникает ошибка сегментации всякий раз, когда начинается оценка, независимо от того, использую ли я object_detection/legacy/eval.py скрипт или object_detection/model_main.py . Я попытался переустановить tensorflow, protobuf-compiler и...
433 просмотров
schedule
18.03.2022
обслуживание классификатора тензорного потока
Я боролся с построителем тензорного потока, чтобы иметь возможность обслуживать мою модель, я пытаюсь передать данные в свой классификатор после обслуживания модели.
Мой вопрос в том, как я буду вводить данные в модель? Я видел код, используемый в...
441 просмотров
schedule
06.04.2022
Минимальный рабочий пример клиента обслуживания тензорного потока
Я работаю над базовым примером обслуживания Tensorflow. Я следую примеру MNIST, за исключением того, что вместо классификации я хочу использовать массив numpy , чтобы предсказать другой массив numpy .
Для этого я сначала обучил свою нейронную...
2904 просмотров
schedule
06.04.2022
gRPC для kotlin android: импорт google / protobuf / wrappers.proto не работает
Я создал проект gRPC, очень похожий на пример gRPC для проекта kotlin android по адресу https://github.com/grpc/grpc-java/tree/master/examples/example-kotlin/android/helloworld
Процесс сборки работает, если я использую примеры прото-файлов. Но...
2639 просмотров
schedule
05.04.2022
Ошибка разрешения имени gRPC
При попытке запустить обслуживание тензорного потока с помощью докера, я получаю следующую ошибку при выдаче клиентского запроса с использованием gRPC со следующим кодом:
`python client.py --server=172.17.0.2/16:9000...
2303 просмотров
schedule
05.04.2022
Как создать пользовательский pyfunc для прогнозирования с использованием модели, для которой требуется входная форма с более чем двумя измерениями с использованием MLflow?
Я новичок в TensorFlow и MLFlow, и у меня есть проблема, аналогичная той, что задана в здесь . Я реализую модель TensorFlow для прогнозирования значений таймсерий. С этой целью я использовал mlflow.tensorflow.autolog () из MLFlow для отслеживания и...
986 просмотров
schedule
03.04.2022
Как заставить bazel генерировать временные статические библиотеки при сборке bazel //
Я использую bazel для создания тензорного потока и тензорного потока / обслуживания, обычно, когда я создавал тензорный поток / обслуживание с базелем, bazel сгенерировал для меня некоторую статическую библиотеку в bazel-bin/tensorflow_serving/core/...
57 просмотров
schedule
04.04.2022
