Есть ли набор данных с несколькими ответами на вопросы НЛП?

Я создаю машину контроля качества. У меня проблема в том, что на один вопрос может быть несколько ответов, и ответы расположены в разных местах в контексте. Например:

Вопрос: что нужно делать Крису?

Контекст: .... Крису нужно мыть посуду .... (еще текст) .... Крису нужно делать уроки ....

Правильные ответы:

  • мыть посуду
  • делать домашнюю работу

Получив ответы на вопрос, я использую алгоритм кластеризации для дедупликации и получения отдельных ответов. Поэтому мне нужен набор данных, содержащий пару из 1 вопроса - много ответов, как указано выше, чтобы оценить мой алгоритм кластеризации и модель встраивания предложений.

Есть ли какой-либо общедоступный набор данных, поддерживающий пару из одного вопроса - несколько правильных ответов (не дублируемых)? Я пробовал MS MARCO, но большинство ответов в этом наборе данных дублируются.


nlp dataset question-answering
person Thanh Kiet Nguyen    schedule 30.09.2020    source источник

Ответы (2)


arrow_upward
0
arrow_downward

Muc2004 - это набор данных для извлечения событий на уровне документа, для каждой роли события есть несколько ответов. Например,

Вопрос: Кто жертвы нападения?

Контекст: .... из-за вынесения смертного приговора Карлосу Валенсии Гарсиа последняя ночь .... (подробнее) ... Убийство Марии Елены Диас ...

Правильные ответы:

  • Карлос Валенсия Гарсия
  • Мария Елена Диас
person Tary Tong    schedule 06.01.2021

arrow_upward
0
arrow_downward

Я искал что-то подобное, методы ответа на вопросы или наборы данных с несколькими неизбыточными ответами.

Это набор данных: https://github.com/mingzhu0527/MASHQA

и документ: https://www.aclweb.org/anthology/2020.findings-emnlp.342.pdf%5Benter описание ссылки] 1

Однако эта статья ставит проблему обеспечения качества как задачу классификации предложений, где задача действительно состоит в том, чтобы определить, отвечает ли каждое предложение в контексте на запрос или нет.

Теперь, если ваши множественные ответы не охватывают предложение, а представляют собой просто фразы, я бы не рекомендовал вам это делать.

person Ibtesam Ahmed    schedule 04.04.2021