Вопросы по теме 'tensorrt'
Как выполнить вывод половинной точности для модели TensorRT, написанной с помощью TensorRT C ++ API?
Я пытаюсь выполнить вывод половинной точности с моделью, изначально написанной в TensorRT C ++ API (не анализируется из других фреймворков, например, caffe, tensorflow); Насколько мне известно, публичных рабочих примеров этой проблемы не существует;...
1064 просмотров
schedule
18.09.2021
Чрезвычайно долгое время (более 10 минут) для загрузки оптимизированных для TensorRT графиков TensorFlow из файла .pb
У меня очень долгое время загрузки графиков TensorFlow, оптимизированных с помощью TensorRT. Неоптимизированные загружаются быстро, но загрузка оптимизированных занимает более 10 минут тем же кодом:
trt_graph_def = tf.GraphDef()
with...
991 просмотров
schedule
11.09.2021
Tensorrt python API устанавливает размер пакета
Я хочу установить размер пакета при создании движка TensorRT.
Я использую TensorRT 7 и Python API. Я конвертирую модель ResNet50 в формат onnx.
731 просмотров
schedule
11.09.2021
Формат ввода данных в плагин
У меня есть модель тензорного потока, как показано на картинке. И пытаюсь конвертировать в TensorRT.
Нужен плагин для upsample узла при преобразовании в TensorRT.
Для реализации Tensorflow скажем, что размер входных данных составляет...
48 просмотров
schedule
16.03.2022
Ошибка TensorRT Engine из-за ошибки парсера UFF
Я пытаюсь преобразовать мою замороженную модель Tensorflow на основе архитектуры pix2pix в движок NVIDIA TensorRT. У меня версия TensorRT 3. Хотя мои слои поддерживаются TensorRT 3, некоторые из них не поддерживаются парсером UFF. Проблема, с...
2650 просмотров
schedule
09.04.2022
Зачем выводить больше данных с помощью вывода INT8 с помощью TensorRT
Реализован вывод движка INT8 с использованием TensorRT.
Размер обучающего пакета составляет 50, а размер пакета вывода - 1.
Но при выводе
[outputs] = common.do_inference(context, bindings=bindings, inputs=inputs, outputs=outputs,...
111 просмотров
schedule
08.04.2022
Я использую предварительно обученную модель Yolov5, я успешно создал yolov5s. Файл движка, но что-то проблема в файле yolov5_trt.py. Ядро сброшено
Я следую всем указанным инструкциям ( https://github.com/wang-xinyu/tensorrtx/tree/master/yolov5 ). Ошибка при запуске файла python yolov5_trt.py.
python: engine.cpp: 1104: bool nvinfer1 :: rt :: Engine :: deserialize (const void *, std :: size_t,...
191 просмотров
schedule
22.06.2022
Оптимизация модели обнаружения объектов Tensorflow V2 Модель Centernet для оценки
Я использую модель обнаружения объектов tensorflow centernet_resnet50_v2_512x512_kpts_coco17_tpu-8 на Nvidia Tesla P100 для извлечения ограничивающих рамок и ключевых точек для обнаружения людей в видео. Используя предварительно обученную...
484 просмотров
schedule
31.07.2022
Преобразование замороженного графа Tensorflow в UFF для вывода TensorRT
Я хочу использовать модель тензорного потока с TensorRT (C ++), и сначала мне нужно преобразовать формат .pb в .uff. При выполнении этого кода:
uff_model = uff.from_tensorflow_frozen_model(
frozen_file="my_tf_model.pb",...
2459 просмотров
schedule
03.09.2022
Tensorflow: оптимизируйте график для логического вывода. Укажите форму для ввода заполнителя
Этот вопрос связан с Поменять входной набор данных TensorFlow конвейер с заполнителем после обучения
У меня есть график, который я хочу оптимизировать для вывода с помощью TensorRT. Чтобы получить график, исключая часть входного конвейера,...
323 просмотров
schedule
09.12.2022
TensorRT с TensorFlow не получают результата при выводе
Я хочу использовать tensorrt для ускорения вывода модели тензорного потока. Но я не получил никакого результата, когда сделал это, вот мой код. Ячейки возврата и баллы - все None. Я неправильно использую TensorRT и tensorflow?
import tensorflow...
178 просмотров
schedule
28.03.2023
Развертывание сети семантической сегментации (U-Net) с помощью TensorRT (без поддержки передискретизации)
Я пытаюсь развернуть обученную U-Net с TensorRT. Модель обучалась с использованием Keras (с Tensorflow в качестве бэкэнда). Код очень похож на этот: https://github.com/zhixuhao/unet/blob/master/model.py
Когда я преобразовал модель в формат UFF,...
3040 просмотров
schedule
02.12.2022
Python TensorRT: ошибка CUDNN_STATUS_MAPPING_ERROR
При запуске алгоритма распознавания лиц с использованием TensorRT Python API (а также PyCUDA) я обнаружил следующую ошибку:
[TensorRT] ERROR: ../rtSafe/safeContext.cpp (133) - Cudnn Error in configure: 7 (CUDNN_STATUS_MAPPING_ERROR)
[TensorRT]...
1451 просмотров
schedule
01.05.2023
Протестируйте файл .trt с помощью tensorflow.
Ниже output_saved_model_dir в этом каталоге у меня есть файл trt с именем final_model_gender_classification_gpu0_int8.trt
output_saved_model_dir='/home/cocoslabs/Downloads/age_gender_trt'
saved_model_loaded =...
159 просмотров
schedule
22.05.2023
ошибка при загрузке разделяемых библиотек: libnvinfer.so.7: невозможно открыть файл общих объектов: нет такого файла или каталога при запуске образца TRTorch
Я пытаюсь скомпилировать свою модель pytorch с движком TRTorch. Я установил TRTorch по этой ссылке. При запуске примера кода (с помощью приведенной ниже команды из ссылки ) возникает данная ошибка:
sudo bazel run //cpp/trtorchexec --...
2517 просмотров
schedule
06.11.2022
Torchscript против TensorRT для вывода в реальном времени
Я обучил модель обнаружения объектов для использования в производстве для приложений реального времени. У меня есть два варианта. Может ли кто-нибудь предложить, как лучше всего выполнить вывод на Jetson Xavier для лучшей производительности? Также...
265 просмотров
schedule
01.01.2023
