1. CascadeXML: переосмысление преобразователей для сквозного обучения с несколькими разрешениями в экстремальной классификации с несколькими метками(arXiv)

Автор: Сиддхант Харбанда, Атмадип Банерджи, Эрик Шультейс, Рохит Баббар

Аннотация. Экстремальная классификация текстов с несколькими метками (XMC) включает в себя изучение классификатора, который может назначать вводу подмножество наиболее релевантных меток из миллионов вариантов меток. Последние подходы, такие как XR-Transformer и LightXML, используют экземпляр преобразователя для достижения самой современной производительности. Однако в этом процессе эти подходы должны идти на различные компромиссы между производительностью и вычислительными требованиями. Основным недостатком по сравнению с AttentionXML на основе Bi-LSTM является то, что они не могут сохранять отдельные представления функций для каждого разрешения в дереве меток. Таким образом, мы предлагаем CascadeXML, сквозной конвейер обучения с несколькими разрешениями, который может использовать многоуровневую архитектуру модели преобразования для обслуживания различных разрешений меток с отдельными представлениями функций. CascadeXML значительно превосходит все существующие подходы с нетривиальным выигрышем, полученным на контрольных наборах данных, содержащих до трех миллионов меток. Код для CascadeXML будет общедоступен по адресу \url{https://github.com/xmc-aalto/cascadexml}.

2. OTSeq2Set: оптимальная улучшенная транспортная модель от последовательности к набору для экстремальной классификации текста с несколькими метками(arXiv)

Автор:Цзе Цао, Инь Чжан

Аннотация. Экстремальная классификация текста с несколькими метками (XMTC) — это задача поиска наиболее релевантных подмножеств меток из очень большой коллекции меток. В последнее время некоторые модели глубокого обучения достигли самых современных результатов в задачах XMTC. Эти модели обычно предсказывают оценки для всех меток по полностью связанному слою как последнему слою модели. Однако такие модели не могут предсказать относительно полное подмножество меток переменной длины для каждого документа, потому что они выбирают положительные метки, относящиеся к документу, с фиксированным порогом или берут лучшие k меток в порядке убывания оценок. Менее популярный тип моделей глубокого обучения, называемый последовательность к последовательности (Seq2Seq), фокусируется на прогнозировании положительных меток переменной длины в стиле последовательности. Однако метки в задачах XMTC по существу представляют собой неупорядоченный набор, а не упорядоченную последовательность, порядок меток по умолчанию ограничивает модели Seq2Seq при обучении. Чтобы устранить это ограничение в Seq2Seq, мы предлагаем авторегрессионную модель последовательность-набор для задач XMTC с именем OTSeq2Set. Наша модель генерирует прогнозы по схеме принуждения студентов и обучается с помощью функции потерь, основанной на двудольном сопоставлении, что обеспечивает инвариантность к перестановкам. Между тем, мы используем оптимальное расстояние транспортировки в качестве измерения, чтобы заставить модель сосредоточиться на ближайших метках в семантическом пространстве меток. Эксперименты показывают, что OTSeq2Set превосходит другие базовые модели конкурентов на 4 наборах контрольных данных. В частности, в наборе данных Википедии с 31 тыс. меток он превосходит современный метод Seq2Seq на 16,34% по показателю микро-F1. Код доступен по адресу https://github.com/caojie54/OTSeq2Set.

3. Эффективный подход к классификации с несколькими метками с отсутствующими метками(arXiv)

Автор:Синь Чжан, Рабаб Абдельфаттах, Юци Сун, Сяофэн Ван

Аннотация. По сравнению с многоклассовой классификацией, многоуровневая классификация, содержащая более одного класса, больше подходит для реальных сценариев. Однако получение полностью размеченных высококачественных наборов данных для задач классификации с несколькими метками является чрезвычайно дорогим, а иногда даже невыполнимым с точки зрения усилий по аннотации, особенно когда пространство меток слишком велико. Это мотивирует исследование классификации с частичными метками, когда аннотируется только ограниченное количество меток, а остальные отсутствуют. Чтобы решить эту проблему, мы сначала предлагаем подход, основанный на псевдометках, чтобы снизить стоимость аннотации, не усложняя существующие сети классификации. Затем мы количественно изучаем влияние отсутствующих меток на производительность классификатора. Более того, разработав новую функцию потерь, мы можем ослабить требование, согласно которому каждый экземпляр должен содержать хотя бы одну положительную метку, которая обычно используется в большинстве существующих подходов. Благодаря всесторонним экспериментам с тремя крупномасштабными наборами данных изображений с несколькими метками, т. е. MS-COCO, NUS-WIDE и Pascal VOC12, мы показываем, что наш метод может справляться с дисбалансом между положительными и отрицательными метками, при этом превосходя существующие методы с отсутствующими метками. подходы к обучению в большинстве случаев, а в некоторых случаях даже подходы с полностью размеченными наборами данных