Семантический поиск, анализ настроений, рекомендательные системы, ответы на вопросы, графики знаний и т. д.
Давайте углубимся в детали и посмотрим полный список задач, которые НЛП может решить сегодня. Имейте в виду, что многие из них можно легко решить путем тонкой настройки моделей с открытым исходным кодом для большинства случаев использования.
Текстовая классификация
Классификация текста — это задача автоматического отнесения текстового документа к одной или нескольким предопределенным категориям (также известным как классы) на основе его содержания.
Некоторые примеры:
- Анализ тональности. Понимание того, имеет ли текст положительную тональность (например, «ужин был хорош») или негативную тональность (например, «ужин был ужасен»).
- Обнаружение спама: перемещение нужных писем в папки со спамом.
- Назначение категорий обращениям в службу поддержки клиентов CRM: определение типа обращения (например, возмещение или техническая проблема) и его автоматическая отправка соответствующему сотруднику службы поддержки.
- Классификация разговоров о стихийных бедствиях в социальных сетях: обнаружение стихийных бедствий, таких как пожары или наводнения, по сообщениям в социальных сетях.
Поиск информации и семантический поиск
Поиск информации (IR) направлен на понимание намерений пользователя (обычно выражаемых с помощью запроса) и предоставление наиболее релевантных результатов. Поиск может быть основан на полнотекстовом поиске или поиске по метаданным. Традиционные информационно-поисковые системы работают, (1) эффективно сопоставляя тексты между запросами и документами и (2) разумно присваивая разную важность разным словам.
Семантический поиск связан с поиском информации в том смысле, что он связан с поиском наилучшего соответствия запросу пользователя, но он выходит за рамки традиционных методов IR, рассматривая семантическое значение запросов и документов благодаря вложения слов.
Системы рекомендаций
Система рекомендаций обычно используется для рекомендации товаров пользователям на основе их прошлого поведения, особенно в интернет-магазинах. Они также используются в социальных сетях, чтобы рекомендовать связи и контент. Рекомендательная система, работающая с НЛП, будет рекомендовать, например, статьи, похожие на те, которые пользователь читал в прошлом.
Обобщение текста
Обобщение текста – это процесс создания краткого, точного и репрезентативного резюме более длинного текстового документа. Цель суммирования текста состоит в том, чтобы создать сжатую версию исходного документа, которая содержит основную информацию, но при этом значительно короче.
Примеры вариантов использования суммирования текста:
- Извлечение ключевой информации из общедоступных новостных статей и получение информации, такой как тенденции и основные новости.
- Разрешение кластеризации документов по их релевантному содержанию.
Ответ на вопрос
Ответы на вопросы (QA) сосредоточены на методах автоматического ответа на вопросы, заданные на естественном языке.
Вообще говоря, существует два типа систем обеспечения качества: экстрактивные и генеративные.
- Извлекающий ответ на вопрос принимает вопрос в качестве входных данных и извлекает наиболее релевантный ответ из большой базы данных возможных ответов.
- Генеративный ответ на вопрос, с другой стороны, генерирует ответ с нуля на основе вопроса, а иногда и дополнительной контекстной информации.
Распознавание именованных объектов
Распознавание именованных объектов (NER) — это подзадача извлечения информации, которая направлена на поиск и классификацию именованных объектов в тексте по заранее определенным категориям, таким как имена людей, организации, местоположения, выражения время, количество, денежные значения, проценты и т. д.
Системы NER обычно используют комбинацию машинного обучения и методов, основанных на правилах, для идентификации именованных сущностей в тексте. В то время как методы машинного обучения могут использоваться для автоматического изучения шаблонов из аннотированных обучающих данных, методы на основе правил используют созданные вручную правила для идентификации именованных объектов.
Графики знаний
График знаний — это структура данных, которая хранит информацию в виде графика. Узлы в графе представляют объекты, а ребра представляют отношения между этими объектами. Графы знаний используются в различных приложениях, включая поисковые системы, системы ответов на вопросы и рекомендательные системы.
Одним из самых известных графов знаний является График знаний Google, который был запущен в 2012 году. Граф знаний Google содержит миллиарды сущностей и триллионы ребер и используется для включения таких функций, как Люди также ищут и Похожие поисковые запросы, которые появляются в правой части страницы результатов поиска.
Машинный перевод
Машинный перевод (МП) — это процесс перевода текста или речи с одного языка на другой. Это была первая задача, представляющая исторический интерес для НЛП. Впервые появившись в 1950-х годах, сегодня он добился больших успехов благодаря глубокому обучению.
Извлечение ключевых слов и фраз
Извлечение ключевых слов и фраз — это задача автоматического определения наиболее важных слов и фраз в документе. В настоящее время это решается с помощью моделей на основе графов, статистических моделей и встраивания слов.
Создание текста
Генерация текста — это задача автоматического создания текста на естественном языке, аналогичного тому, который создается людьми. Генерация текстов в последние годы стала настолько точной, что в некоторых случаях их трудно отличить от текстов, написанных людьми.
Чат-боты и личные помощники
Чат-боты и персональные помощники – это компьютерные программы, предназначенные для имитации человеческого разговора, а также помогающие пользователям в выполнении задач. Они обычно используются в онлайн-обслуживании клиентов для ответа на простые вопросы или запросы.
Преобразование речи в текст и преобразования текста в речь
В преобразовании речи в текст (STT), также называемом автоматическое распознавание речи (ASR), компьютер слушает говорящего человека и преобразует звуки в написанные слова. В преобразовании текста в речь (TTS) компьютер читает письменный текст и преобразует его в произносимые слова.
Как преобразование речи в текст, так и преобразование текста в речь имеют множество применений. Их можно использовать для создания текстовых документов из аудиозаписей, создания аудиофайлов из текста, создания субтитров для видео и обеспечения доступности для людей с ограниченными возможностями.
Технология преобразования речи в текст и текста в речь постоянно совершенствуется, и теперь можно создавать высококачественные аудиофайлы, которые звучат естественно и реалистично.
Примеры преобразования текста в речь
Откройте эту ссылку, чтобы прослушать сгенерированную машиной речь с разными голосами и тонами голоса. Они были сгенерированы с помощью модели TTS с открытым исходным кодом TorToiSe.
Поиск изображений
Поиск изображений — это процесс поиска изображений на основе их визуального содержания с использованием текстовых запросов. Это мультимодальная задача, поскольку она касается данных в разных модальностях: текст и изображение.
В настоящее время поисковые системы на основе изображений разрабатываются примерно так же, как семантические текстовые поисковые системы:
- Все изображения встроены и представлены в виде векторов.
- Запрос также встроен.
- Наилучшие результаты получают изображения с наибольшим векторным сходством с запросом.
Спасибо за чтение! Я готовлю онлайн-курс для практиков НЛП с такими уроками. Если вы хотите получать обновления, когда он выйдет, или вам интересно узнать больше о НЛП, не забудьте подписаться на NLPlanet: вы можете найти нас на Medium, LinkedIn, Twitter и на нашем новом Discord server!
