Компромисс между выводами и открытиями

Теория и практика - это улица с двусторонним движением на карте человеческих усилий. Многие открытия и изобретения были результатом случайностей и экспериментов, а не предсказаниями и замыслами, основанными на первых принципах. Паровой двигатель предшествовал законам термодинамики, сопротивление воздуха и паруса были известны с древних времен, но формальное описание аэродинамики появилось гораздо позже.

Есть и другие направления. Бозон Хиггса был предсказан задолго до экспериментального наблюдения. Общая теория относительности долгое время оставалась теорией до экспедиции Эддингтона. Таким образом, важно оценить оба подхода как важные инструменты, имеющиеся в нашем распоряжении в поисках знаний.

Машинное обучение обязано своим быстрым прогрессом обоим подходам, но было предметом интенсивных дебатов в 2017 году, когда одна группа сравнила этот предмет с алхимией, на что быстро ответила:

«Смещение слишком больших усилий от передовых технологий к пониманию сути может замедлить инновации.

Это не алхимия, это инженерия. Инженерное дело грязное »

Одна сторона утверждала, что практикующие прыгали с пистолета, тогда как теоретиков критиковали за бросание ребенка с водой из ванны ».

Области, построенные на основополагающих принципах, обладают преимуществом «объяснимых отказов» - ключевого принципа, необходимого для создания постоянно надежных систем, к чему стремится каждая область инженерии.

Но важность практического подхода подчеркивается, когда мы оцениваем стоимость его неиспользования. В некоторых случаях целая область исследований не началась бы, если бы люди были непреклонны в отношении аксиоматического описания - Computational Fluid Dynamics, ключевой фактор в разработке современного самолета, предлагает типичный пример того, как полностью полагаться на одну сторону еще нерешенная проблема тысячелетия.

Позже золотая середина в машинном обучении была прояснена, и начались дискуссии о лучших практиках. В частности, выделены стандарты эмпирической оценки, которые необходимо соблюдать независимо от условий.

Какие ключевые моменты [1] следует учитывать при проведении анализа как специалисту по данным?

  • Поделитесь своей методологией настройки
    . Настройка всех ключевых гиперпараметров должна выполняться (с использованием установленных методов) для всех моделей, включая базовые и общие.
  • Разрезной анализ
    Показатели эффективности, такие как точность или площадь под кривой (AUC) для полного набора тестов, могут скрывать важные эффекты, такие как улучшение качества в одной области и ухудшение в другой. Разбивка показателей эффективности по разным измерениям или категориям данных является важной частью полного эмпирического анализа.
  • Исследования абляции
    Тестируйте каждое изменение компонента в архитектуре модели по сравнению с предыдущими исходными уровнями по отдельности и в сочетании.
  • Использование данных вне тестового распределения
    Для понимания поведения модели следует использовать данные вне тестового распределения. Например, насколько хорошо модель работает с данными от пользователей с различным демографическим распределением?
  • Сообщите об отрицательных результатах
    . Найдите области, в которых новый метод не работает лучше, чем предыдущие базовые показатели, и сообщите о них. Будет такая зона, потому что бесплатного обеда нет.

Обратите внимание, что любая структура машинного обучения, используемая для решения реальной проблемы, по своей сути является моделью, и в этом блоге уже говорилось о том, как отличить хорошие модели.

Большое спасибо следующей статье за ​​начало разговора в этом направлении.

[1] Скалли Д., Снук Дж., Вильчко А. и Рахими А. (2018). Проклятие победителя? О темпах, прогрессе и эмпирической строгости.

Кроме того, посмотрите следующие видео по этой теме

[2] Эпистемология глубокого обучения

[3] Краткое введение в глубокое обучение и противоречие« алхимии »