Synced провела обзор статей, опубликованных на прошлой неделе в области машинного обучения, компьютерного зрения, вычислений, языка и других областей, и выявила семь исследований, которые, по нашему мнению, могут представлять особый интерес для наших читателей.

Куок В. Ле и Кайминг Хе опубликовали в ImageNet новые интересные исследования. Создатель библиотеки нейронных сетей с открытым исходным кодом Keras Франсуа Шоле тем временем изучает подходы к определению и оценке интеллектуальных систем и человекоподобных искусственных систем. Чолле предлагает Корпус абстракций и рассуждений (ARC) для оценки человечности систем ИИ.

Мы также видели несколько интересных исследований, связанных с нишевыми задачами, такими как использование глубокого обучения для выбора акций и использование эволюционного алгоритма для представления изменений баланса в стратегической игре Hearthstone.

  1. Самостоятельное обучение с помощью Noisy Student улучшает классификацию ImageNet
  2. Сравнительный анализ XGBoost
  3. Импульсный контраст для обучения визуальному представлению без учителя
  4. Глубокое обучение для выбора акций на основе частых данных о цене и объеме
  5. Развитие меты Hearthstone
  6. Мера интеллекта
  7. Развивающаяся кросс-языковая структура в предварительно обученных языковых моделях

Бумага один

Статья: Самостоятельное обучение с помощью Noisy Student улучшает классификацию ImageNet

Авторы: Циже Се, Минь-Тханг Луонг, Куок В. Ле из Google Research Brain Team и Эдуард Хови из Университета Карнеги-Меллона.

Аннотация: Мы представляем простой метод самообучения, который позволяет достичь точности 87,4% из топ-1 в ImageNet, что на 1,0% лучше, чем в современной модели, требующей 3,5 млрд слабо маркированных Instagram. картинки. На наборах тестов устойчивости он повышает точность ImageNet-A top-1 с 16,6% до 74,2%, снижает среднюю ошибку повреждения ImageNet-C с 45,7 до 31,2 и снижает средний коэффициент отражения ImageNet-P с 27,8 до 16,1.
Для достижения этого результата мы сначала обучаем модель EfficientNet на помеченных изображениях ImageNet и используем ее в качестве учителя для создания псевдометок на 300M немаркированных изображениях. Затем мы обучаем более крупную сеть EfficientNet как студенческую модель на комбинации помеченных и псевдо-помеченных изображений. Мы повторяем этот процесс, возвращая ученика учителем. Во время генерации псевдо-меток учителя не слышат, поэтому псевдо-метки работают как можно лучше. Но во время обучения ученика мы привносим в него шум, такой как увеличение данных, отсев, стохастическая глубина, так что зашумленный ученик вынужден усерднее учиться с помощью псевдометок.

Бумага два

Бумага: Сравнительный анализ XGBoost

Авторы: Кэндис Бентежак из Университета Бордо, Анна Чёргё из Католического университета Пазмань Петер, Гонсало Мартинес-Муньос из Автономного университета Мадрида

Аннотация: XGBoost - это метод масштабируемого ансамбля, основанный на повышении градиента, который продемонстрировал свою надежность и эффективность в решении задач машинного обучения. В этой работе предлагается практический анализ того, как работает этот новый метод с точки зрения скорости обучения, производительности обобщения и настройки параметров. Кроме того, было проведено всестороннее сравнение между XGBoost, случайными лесами и повышением градиента с использованием тщательно настроенных моделей, а также с использованием настроек по умолчанию. Результаты этого сравнения могут указывать на то, что XGBoost не обязательно является лучшим выбором при любых обстоятельствах. Наконец, проводится обширный анализ процесса настройки параметризации XGBoost.

Бумага третья

Статья: Импульсный контраст для обучения визуальному представлению без учителя

Авторы: Каймин Хе, Хаоци Фан, Юсинь Ву, Сэйнин Се, Росс Гиршич из Facebook AI Research (FAIR)

Аннотация: Мы представляем Momentum Contrast (MoCo) для обучения визуальному представлению без учителя. С точки зрения контрастного обучения как поиска по словарю, мы создаем динамический словарь с очередью и кодировщиком с скользящим усреднением. Это позволяет создавать большой и последовательный словарь «на лету», что облегчает контрастное обучение без учителя. MoCo обеспечивает конкурентоспособные результаты по общему линейному протоколу по классификации ImageNet. Что еще более важно, представления, изученные MoCo, хорошо переносятся на последующие задачи. MoCo может превзойти своего контролируемого предтренировочного аналога в 7 задачах обнаружения / сегментации на PASCAL VOC, COCO и других наборах данных, иногда превосходя его с большим отрывом. Это говорит о том, что разрыв между неконтролируемым и контролируемым репрезентативным обучением во многих задачах видения в значительной степени ликвидирован.

Бумага четыре

Документ: Глубокое обучение для выбора акций на основе частых данных о цене и объеме

Авторы: Цзюньминь Ян, Яоци Ли, Сюанью Чен, Цзяхан Цао, Канкан Цзян из Likelihood Technology, Калифорнийский университет Ирвина, и Университет Сунь Ятсена.

Аннотация: Обучение практической и эффективной модели выбора акций было очень важной проблемой в области искусственного интеллекта. Несмотря на то, что некоторые модели из предыдущих работ достигли хороших показателей на рынке США за счет использования низкочастотных данных и функций, обучение подходящей модели с использованием высокочастотных данных о запасах по-прежнему остается проблемой, которую стоит изучить. Основываясь на высокочастотных данных о ценах за последние несколько дней, мы строим две отдельные модели - сверточную нейронную сеть и долгосрочную краткосрочную память, - которые могут предсказать ожидаемую норму доходности акций в текущий день, и выбрать акции с самая высокая ожидаемая доходность при открытии, чтобы максимизировать общую доходность. В нашей модели CNN мы предлагаем улучшения модели CNNpred, представленной Э. Хосейнзаде и С. Харатизаде в их статье, которая касается низкочастотных характеристик. Такие улучшения позволяют нашей модели CNN использовать способность сверточного слоя извлекать высокоуровневые факторы и в то же время избегать чрезмерной потери исходной информации. Наша модель LSTM использует преимущества рекуррентной нейронной сети при обработке данных временных рядов. Несмотря на значительные комиссионные за транзакции из-за ежедневных изменений нашей позиции по акциям, годовая чистая норма доходности составляет 62,27% для нашей модели CNN и 50,31% для нашей модели LSTM.

Бумага пять

Статья: Развитие меты Hearthstone

Авторы: Фернандо де Мезентиер Сильва, Скотт Ли и Мэтью С. Фонтейн - независимые исследователи; Джулиан Тогелиус из Нью-Йоркского университета, а Эми К. Гувер из Технологического института Нью-Джерси.

Аннотация: Балансировка постоянно растущей стратегической игры высокой сложности, такой как Hearthstone, является сложной задачей. Задача сделать стратегии разнообразными и настраиваемыми приводит к созданию тонкой сложной системы. Настройка более 2000 карт для получения желаемого результата без нарушения существующей среды становится трудоемкой задачей. В этой статье мы обсуждаем влияние, которое изменения существующих карт могут оказать на стратегию в Hearthstone. Анализируя процент побед в матчах с разными колодами, в которых используются разные стратегии, мы предлагаем сравнить их эффективность до и после внесения изменений для улучшения или ухудшения разных карт. Затем, используя эволюционный алгоритм, мы ищем комбинацию изменений атрибутов карт, которые приводят к тому, что колоды приближаются к одинаковому проценту выигрышей 50%. Затем мы расширяем наш эволюционный алгоритм до многоцелевого решения для поиска этого результата, внося минимальное количество изменений и, как следствие, сбоев в существующие карты. Наконец, мы предлагаем и оцениваем показатели, которые служат в качестве эвристики, с помощью которой можно решить, какие карты использовать при изменении баланса.

Бумага Шесть

Бумага: Мера интеллекта

Авторы: Франсуа Шоле из Google

Аннотация: чтобы добиться целенаправленного прогресса в направлении создания более интеллектуальных и более похожих на человека искусственных систем, мы должны следовать соответствующему сигналу обратной связи: мы должны иметь возможность определять и оценивать интеллект таким образом, чтобы можно было проводить сравнения. между двумя системами, а также сравнения с людьми. За последние сто лет было предпринято множество попыток определить и измерить интеллект как в области психологии, так и в области искусственного интеллекта. Мы резюмируем и критически оцениваем эти определения и подходы к оценке, делая очевидными две исторические концепции интеллекта, которые неявно ими руководствовались. Мы отмечаем, что на практике современное сообщество ИИ по-прежнему тяготеет к сравнительному анализу интеллекта, сравнивая навыки, демонстрируемые ИИ и людьми при выполнении конкретных задач, таких как настольные игры и видеоигры. Мы утверждаем, что только измерение навыков в любой конкретной задаче не соответствует измерению интеллекта, потому что навыки в значительной степени зависят от предшествующих знаний и опыта: неограниченные априорные значения или неограниченные данные обучения позволяют экспериментаторам «покупать» произвольные уровни навыков для системы. это маскирует собственную обобщающую способность системы. Затем мы формулируем новое формальное определение интеллекта, основанное на теории алгоритмической информации, описывая интеллект как эффективность приобретения навыков и выделяя концепции объема, сложности обобщения, априорных значений и опыта. Используя это определение, мы предлагаем набор руководящих принципов того, как должен выглядеть общий тест ИИ. Наконец, мы представляем эталонный тест, точно соответствующий этим рекомендациям, Корпус абстракции и рассуждений (ARC), построенный на явном наборе априорных значений, призванных быть максимально приближенными к врожденным человеческим априорным принципам. Мы утверждаем, что ARC можно использовать для измерения человеческой формы общего подвижного интеллекта и что он позволяет проводить справедливые общие сравнения интеллекта между системами ИИ и людьми.

Бумага семь

Статья: Новые кросс-языковые структуры в предварительно обученных языковых моделях

Авторы: Шицзе Ву из Университета Джона Хопкинса, Алексис Конно, Хаоран Ли, Люк Зеттлемойер, Веселин Стоянов из Facebook AI

Аннотация: Мы изучаем проблему моделирования многоязычного замаскированного языка, то есть обучения одной модели на составном тексте из нескольких языков, и представляем подробное исследование нескольких факторов, которые влияют на то, почему эти модели так эффективны для межъязычный перевод. Мы показываем, вопреки тому, что предполагалось ранее, что передача возможна даже тогда, когда нет общей лексики в одноязычных корпусах, а также когда текст поступает из очень разных областей. Единственное требование - наличие некоторых общих параметров на верхних уровнях многоязычного кодировщика. Чтобы лучше понять этот результат, мы также показываем, что представления из независимо обученных моделей на разных языках могут быть довольно эффективно согласованы постфактум, что убедительно свидетельствует о том, что, как и в случае неконтекстных встраиваний слов, в изученных пространствах вложения существуют универсальные скрытые симметрии. . Для моделирования многоязычного языка с масками эти симметрии, кажется, автоматически обнаруживаются и выравниваются в процессе совместного обучения.

Журналист: Фаню Цай | Редактор: Майкл Саразен

Мы знаем, что вы не хотите пропустить ни одной истории. Подпишитесь на наш популярный Synced Global AI Weekly , чтобы получать еженедельные обновления AI.

Нужен всесторонний обзор прошлого, настоящего и будущего современных исследований в области искусственного интеллекта? Отчет Тенденции развития технологий искусственного интеллекта вышел!

Вышел Отчет об адаптивности AI для публичной компании Fortune Global 500 за 2018 год!
Приобретите отчет в формате Kindle на Amazon.
Подайте заявку на участие в Партнерской программе Insight, чтобы получить бесплатный полный отчет в формате PDF.