В этом посте я кратко резюмирую статью «Простая и точная модель нейронной сети для обнаружения иронии в Twitter» Ву, Таня и др. [1].

С быстрым увеличением использования Twitter для различных приложений НЛП, таких как анализ настроений, предсказание фондового рынка, анализ обзоров продуктов и т. Д., Обнаружение иронии, особенно автоматическое обнаружение иронии, привлекло все большее внимание исследовательского сообщества. Поэтому на Международном семинаре по семантической оценке (SemEval)-2018, где была опубликована статья, задача 3 направлена ​​​​на разработку систем обнаружения иронии для англоязычных твитов.

Авторы предлагают использовать очень простую архитектуру нейронной сети многослойного персептрона (MLP) с различными типами входных признаков, включая: лексические, синтаксические, семантические и полярные признаки, которая называется NIHRIO (см. рисунок 1). Они объединяют все эти функции, чтобы получить единый вектор функций для каждого входа (т. е. твита). 2-скрытые слои выбирают наиболее важные функции, которые затем передаются в слой softmax для иронического обнаружения и классификации. Параметры модели минимизируются за счет потери перекрестной энтропии с регуляризацией L2, где используется стратегия голосования на основе 10-кратной перекрестной проверки для возврата окончательной предсказанной метки.

Их успех заключается в выборе функций, который называется разработкой функций, поскольку их модель несложна. Для лексической функции они используют 1-, 2- и 3-граммы как на уровне слов, так и на уровне символов и выбирают 1000 лучших n-грамм на основе значений частоты термина – обратной частоты документа (tf-idf), которые также используется в векторе признаков. Точно так же они используют теги POS в качестве синтаксических функций и свои оценки tf-idf для значений функций. Что касается семантических функций, они преобразуют твиты в векторные представления с использованием алгоритма GloVe [2], скрытого семантического индексирования (LSI) [3] и алгоритма кластеризации Брауна [4]. Что касается функций полярности, они используют количество сигналов полярности (например, положительные слова, отрицательные смайлики и т. д.), появляющиеся в твите.

Они получили 64,76 балла F1 и 70,15 точности за бинарную классику (ироничность против неироничности), где они зарезервировали за собой пятое (по оценке F1) и третье (по точности) места в семинаре. Для получения дополнительной информации и экспериментов, пожалуйста, обратитесь к [1].

использованная литература

[1] Ву, Тхань и др. «NIHRIO на SemEval-2018, задание 3: простая и точная модель нейронной сети для обнаружения иронии в Twitter». Материалы 12-го Международного семинара по семантической оценке. 2018.

[2] Джеффри Пеннингтон, Ричард Сочер и Кристофер Мэннинг. 2014. Перчатка: глобальные векторы для представления слов. В материалах конференции 2014 г. по эмпирическим методам обработки естественного языка, страницы 1532–1543.

[3] Пападимитриу, С. Х., Рагхаван, П., Тамаки, Х., и Вемпала, С. (2000). Скрытое семантическое индексирование: вероятностный анализ. Журнал компьютерных и системных наук, 61 (2), 217–235.

[4] Питер Ф. Браун, Питер В. де Соуза, Роберт Л. Мерсер, Винсент Дж. Делла Пьетра и Дженифер С. Лай. 1992. Модели n-грамм естественного языка на основе классов. вычисл. Лингвист., 18 (4): 467–479.