Согласно Википедии, обработка естественного языка — это междисциплинарная область лингвистики, информатики и искусственного интеллекта, связанная с взаимодействием между компьютерами и человеческим языком, в частности, с тем, как программировать компьютеры для обработки и анализа больших объемов данных на естественном языке.
Применение в реальном мире
- Контекстная реклама.
- Функции электронной почты, такие как фильтрация спама, умный ответ.
- Социальные сети — удаление контента для взрослых и сбор мнений.
- Поисковые системы
- Чат-боты
Общие задачи НЛП
- Классификация текста/документа: с помощью обработки естественного языка (NLP) мы можем автоматически анализировать текст, а затем назначать набор предопределенных тегов или категорий на основе его содержания.
- Анализ настроений. Анализ настроений (или анализ мнений) – это метод обработки естественного языка (НЛП), используемый для определения того, являются ли данные положительными, отрицательными или нейтральными.
- Поиск информации. НЛП можно использовать для получения самой актуальной информации просто из текста любого типа на основе определенного запроса, предоставленного пользователем.
- Тегирование частей речи:классификация каждой части/слова речи как существительного, местоимения, глагола и т. д. для четкого понимания смысла предложения.
- Определение языка при машинном переводе: это то, что обычно делает переводчик Google.
- Разговорные агенты:компьютерная система, предназначенная для общения с человеком.
- Knowledge Graph и QA Systems:извлечение взаимосвязанных данных в соответствии с заданным запросом.
- Обобщение текста. НЛП используется для создания более короткого текста без удаления семантической структуры текста.
- Моделирование темы: НЛП можно использовать для поиска абстрактной темы документа.
Есть много других приложений, таких как генерация текста, проверка орфографии, анализ текста и преобразование речи в текст.
Подошли к НЛП
- Эвристические методы. Это умственные упрощения, которые облегчают когнитивную нагрузку при принятии решения. Примеры использования эвристики включают использование метода проб и ошибок, эмпирического правила или обоснованного предположения. Эвристика — это стратегия, основанная на предыдущем опыте решения подобных проблем.
- Машинное обучение. Здесь решения основывались на входных и выходных данных. Это сделало его более удобным, чем описанный выше метод.
- Глубокое обучение. Преимущество использования глубокого обучения по сравнению с машинным обучением заключается в том, что при использовании глубокого обучения заботится о последовательности, в то время как машинное обучение не заботится об этом.\
Общие проблемы НЛП
- Двусмысленность. Ежедневно мы произносим множество фраз, которые могут иметь разное значение в зависимости от ситуации и тона речи. Из-за этого компьютеру трудно понять истинное значение предложения. Пример «Я видел мальчика на пляже в бинокль» — — — это предложение может иметь 2 значения (i) используя бинокль, я видел мальчика на пляже (ii) я видел, как мальчик использовал мой бинокль на пляже.
- Контекстные слова:этослова, основанные на ситуациях. Пример «Я побежал в магазин, так как у меня закончилось молоко» — здесь оба слова побежали имеют разное значение.
- Разговорные выражения и сленг. Например, «кусок пирога» — эта фраза обычно используется людьми, чтобы сказать, насколько легка работа, но машина интерпретирует ее по-другому.
- Синонимы
- Ирония, сарказм и разница в тоне
- Орфографические ошибки
- Творчество — стихи, диалоги, сценарии.
- Разнообразие языков
Спасибо за прочтение…..