Согласно Википедии, обработка естественного языка — это междисциплинарная область лингвистики, информатики и искусственного интеллекта, связанная с взаимодействием между компьютерами и человеческим языком, в частности, с тем, как программировать компьютеры для обработки и анализа больших объемов данных на естественном языке.

Применение в реальном мире

  1. Контекстная реклама.
  2. Функции электронной почты, такие как фильтрация спама, умный ответ.
  3. Социальные сети — удаление контента для взрослых и сбор мнений.
  4. Поисковые системы
  5. Чат-боты

Общие задачи НЛП

  1. Классификация текста/документа: с помощью обработки естественного языка (NLP) мы можем автоматически анализировать текст, а затем назначать набор предопределенных тегов или категорий на основе его содержания.
  2. Анализ настроений. Анализ настроений (или анализ мнений) – это метод обработки естественного языка (НЛП), используемый для определения того, являются ли данные положительными, отрицательными или нейтральными.
  3. Поиск информации. НЛП можно использовать для получения самой актуальной информации просто из текста любого типа на основе определенного запроса, предоставленного пользователем.
  4. Тегирование частей речи:классификация каждой части/слова речи как существительного, местоимения, глагола и т. д. для четкого понимания смысла предложения.
  5. Определение языка при машинном переводе: это то, что обычно делает переводчик Google.
  6. Разговорные агенты:компьютерная система, предназначенная для общения с человеком.
  7. Knowledge Graph и QA Systems:извлечение взаимосвязанных данных в соответствии с заданным запросом.
  8. Обобщение текста. НЛП используется для создания более короткого текста без удаления семантической структуры текста.
  9. Моделирование темы: НЛП можно использовать для поиска абстрактной темы документа.

Есть много других приложений, таких как генерация текста, проверка орфографии, анализ текста и преобразование речи в текст.

Подошли к НЛП

  1. Эвристические методы. Это умственные упрощения, которые облегчают когнитивную нагрузку при принятии решения. Примеры использования эвристики включают использование метода проб и ошибок, эмпирического правила или обоснованного предположения. Эвристика — это стратегия, основанная на предыдущем опыте решения подобных проблем.
  2. Машинное обучение. Здесь решения основывались на входных и выходных данных. Это сделало его более удобным, чем описанный выше метод.
  3. Глубокое обучение. Преимущество использования глубокого обучения по сравнению с машинным обучением заключается в том, что при использовании глубокого обучения заботится о последовательности, в то время как машинное обучение не заботится об этом.\

Общие проблемы НЛП

  1. Двусмысленность. Ежедневно мы произносим множество фраз, которые могут иметь разное значение в зависимости от ситуации и тона речи. Из-за этого компьютеру трудно понять истинное значение предложения. Пример «Я видел мальчика на пляже в бинокль» — — — это предложение может иметь 2 значения (i) используя бинокль, я видел мальчика на пляже (ii) я видел, как мальчик использовал мой бинокль на пляже.
  2. Контекстные слова:этослова, основанные на ситуациях. Пример «Я побежал в магазин, так как у меня закончилось молоко» — здесь оба слова побежали имеют разное значение.
  3. Разговорные выражения и сленг. Например, «кусок пирога» — эта фраза обычно используется людьми, чтобы сказать, насколько легка работа, но машина интерпретирует ее по-другому.
  4. Синонимы
  5. Ирония, сарказм и разница в тоне
  6. Орфографические ошибки
  7. Творчество — стихи, диалоги, сценарии.
  8. Разнообразие языков

Спасибо за прочтение…..