Классификация изображений ML5 с использованием MobileNet и p5.js

Подробности и информацию смотрите в видео на YouTube.

URL видео:https://youtu.be/wQ7q62tXkxo

Обзор

В этом уроке мы на самом деле собираемся сделать пример кода, который выполняет классификацию изображений.

Библиотека ml5.js построена поверх TensorFlow.js и позволяет вам получать доступ к алгоритмам и моделям машинного обучения в вашем браузере без каких-либо других внешних зависимостей.

Мы просто собираемся использовать предварительно обученную модель. Модель машинного обучения, которая умеет распознавать содержимое изображений и ML5, предоставляет нам доступ к нему в JavaScript для использования с библиотекой p5. Мы можем узнать достоверность изображения с помощью MobileNet.

Давайте посмотрим код в веб-редакторе p5.js.

let classifier;  // Initialize the Image Classifier method with MobileNet and a callback needs to be passed.
let img;  // A variable to hold the image we want to classify.
// The function below will determine the specified source by comparing it with the model called MobileNet that has been prepared in advance.
function preload() {
classifier = ml5.imageClassifier('MobileNet');
img = loadImage('https://raw.githubusercontent.com/setapolo/fbxes/main/kit.png');
}
// The function below will determine and setup the image sizes, get the results as image.
function setup() {
createCanvas(400, 400);
classifier.classify(img, gotResult);
image(img, 0, 0);
}
// A function to run when we get any errors in console and the results.
function gotResult(error, results) {
if (error) {
console.error(error);
}
// The results are in an array ordered by confidence.
console.log(results);
createDiv('Label: ' + results[0].label);
createDiv('Confidence: ' + nf(results[0].confidence, 0, 2));
}

После запуска кода мы получим изображение с его меткой как полосатый, полосатый кот и достоверностью или точностью 0,63.

Это все для этого урока.