Начало работы, Бизнес в области науки о данных
Как расставить приоритеты и провести исследования в области машинного обучения
Краткое описание того, как это сделать: взять идеи и воплотить их в жизнь
Когда я думаю о машинном обучении, у меня обычно возникает много идей. Я все время придумываю новые архитектуры и новые методы, но часто сталкиваюсь с комбинаторным взрывом идей для тестирования.
Если вы исследователь, вероятно, вы одновременно работаете в голове с 5–10 различными идеями. В рамках одной из этих идей, вероятно, есть еще 5–10 вариантов или ответвлений идеи.
В этой статье я представляю структуру, которую использую, чтобы помочь мне расставить приоритеты и, что наиболее важно, реализовать свои идеи. Я надеюсь, что этот фреймворк поможет вам добиться большего успеха, независимо от того, являетесь ли вы независимым исследователем, работающим специалистом по данным, инженером по машинному обучению или исследователем в учреждении.
Рамки
- Начни с цели
- Перебрать все возможности
- Установите приоритет ожидаемого значения
- Организовывать, организовывать, организовывать
- Знайте, когда нужно сделать поворот
Эти шаги кажутся интуитивно понятными и простыми, но их необходимо последовательно применять, чтобы добиться успеха в ваших проектах / исследовательских трактах.
Начни с цели
Прежде всего, у вас должна быть цель. Независимо от того, является ли ваша цель превзойти современные отраслевые эталоны или решить конкретную проблему, вам необходимо четко понимать, что это за цель и почему вы ее решаете. Цель должна быть достаточно ясной, чтобы уместиться в одном утверждении.
Достижение этой цели должно быть тем, что приносит пользу вам или вашей команде, в какой бы области вы ни работали.
Пример:
Достичь СОТА на КЛЕЕ
or:
Создайте систему рекомендаций, которая обеспечит для нашей компании коэффициент покупок не менее 65%.
Опять же, это звучит просто, но когда вы «в траве» и думаете об алгоритмах обхода графа или какой-либо другой эзотерической / несвязанной области исследования - это постановление цели вернет вас к вашему первоначальному намерению и не даст вам зайти слишком далеко. вглубь через кроличью нору. Это должно стать почти мантрой, когда вы будете работать над исследованием, направляя процесс принятия решений и гарантируя, что вы помните о конечном состоянии.
Перебрать все возможности
Вот где пригодится эта удобная таблица. У вас и вашей команды будут от десятков до сотен жизнеспособных вариантов достижения вашей цели. У каждого из них есть два фактора - простота выполнения и вероятность успеха.
В начале вашего проекта вам нужно будет сесть на несколько дней или максимум на неделю и перебрать все возможности. Вам нужно будет установить временные рамки для этого, чтобы убедиться, что вы действительно можете сделать это, а не застрять в информационном параличе.
Здесь вам или вашей команде нужно будет изучить последние исследования и оценить местность. Вы можете встретить несколько многообещающих исследовательских трактатов, с которыми раньше не сталкивались, или освоить новые техники или методологии.
Отслеживайте все и вся, что может иметь смысл применить. Если это имеет значительную применимость, вы должны стремиться понять исследование достаточно хорошо, чтобы понять, насколько сложно или легко его будет выполнить, и объяснить ценность исследования остальная часть вашей команды. Пришло время перечислить все возможности и идеи, которые у вас есть. Обратите внимание на источники (документы) и любые инструменты (код / репозитории / примеры), которые вы можете оценить или внедрить позже.
Сделайте ставку на ожидаемую ценность
В конце процесса на шаге 2 я считаю полезным сесть и провести одно или несколько занятий, на которых вы обсудите все идеи. Некоторые идеи будут иметь немедленную перспективу и возможность применения, в то время как другие будут неясными.
Каждой идее необходимо будет определить приоритетность двух упомянутых факторов: простота реализации и вероятность успеха. К сожалению, нет простого способа определить легкость выполнения или вероятность, поскольку каждый исследователь и команда разные.
Некоторые соображения:
- Насколько сложен метод или идея?
- Показал ли этот метод успех в другой области?
- Есть ли у меня / нас опыт применения этого метода?
В конце процесса определения приоритетов у вас должны быть идеи с наибольшей вероятностью получения результатов, за которыми следует простота реализации. Если вы должны были создать оценку для этого (для сортировки), он будет больше зависеть от вероятности успеха по сравнению с простотой выполнения.
Также важно добавить любые инструменты / процессы, которые вам нужно разработать для реализации некоторых идей. Вероятно, что некоторые инструменты или процессы влияют на несколько областей исследования, поэтому их также следует учитывать, особенно когда вы думаете о том, как распределить работу между своей исследовательской группой.
Организовывать, организовывать, организовывать
Этот шаг может сделать или разрушить ваш проект, так как очень важно оставаться дисциплинированным на протяжении всего процесса.
Вам необходимо четко организовать следующие элементы:
- Кто над какой идеей / инструментом работает
- Каков критический путь (ожидаемое время от начала до конца)
- Статус каждого
- Результаты каждого (должны быть переданы остальной части вашей исследовательской группы)
Здесь сливаются управление проектами и исследования. Без такого уровня организации и подотчетности вы, скорее всего, «провалитесь в кроличью нору» на одном трактате или идее и потратите много драгоценного времени.
Используйте что-то вроде Веса и смещения, чтобы отслеживать свои результаты и убедиться, что названия каждой модели и все проверенные гиперпараметры ясны. Я знаю, что я не единственный, кто, вероятно, зря потратил циклы на переобучение архитектуры модели, которую я тренировал раньше, потому что я не отслеживал общую точность. Урок выучен. Теперь организация превыше всего. Эти инструменты упрощают отслеживание.
Используйте что-то вроде Trello, чтобы отслеживать состояние каждого исследовательского тракта и обеспечивать подотчетность своей команде. Убедитесь, что ваши исследователи находятся в курсе последних событий.
Каждая команда / исследователь индивидуальна. Используйте любые разумные инструменты, но следите за тем, чтобы все было хорошо организовано.
Знайте, когда нужно сделать поворот
Знание того, когда отложить идею, - ценный навык, который сложно применить. Иногда мы влюбляемся в идею, но эта идея нас не любит. Я особенно уязвим перед этим; теории почти всегда красивы и элегантны, но иногда терпят неудачу в реальных экспериментах. В этом случае нам нужно знать, как проверить идею (быстро) и двигаться дальше, когда идея не приносит плодов.
Избегайте заблуждения о невозвратных затратах - вы должны знать, насколько сложна / проста идея, прежде чем вкладывать в нее время. Вы также должны указать временные рамки для работы в этой области исследования, чтобы не гоняться за идеей, которая в конечном итоге может не сработать.
Это может быть особенно сложно. Иногда отложить идею в долгий ящик труднее, чем расстаться с второй половинкой. Вы тратите недели / месяцы / годы на теоретические рассуждения о чем-то, а они не материализуются, как бы вы над этим ни работали. Может быть, что-то отсутствует, или это неправильный домен, или по ряду других факторов. Вам не нужно полностью отказываться от этой идеи, потому что она может оказаться полезной позже, но вам нужно убедиться, что вы можете достичь цели, указанной в шаге 1. Знайте, как повернуться и когда это сделать.
Некоторые ключевые вопросы, которые следует задать:
- Есть ли какие-то многообещающие результаты, которые я получил от этой идеи / метода?
- Верю ли я, что есть модификация или набор модификаций, которые улучшат мои результаты? Если да, то почему?
- Могу ли я быстро подтвердить свои гипотезы?
Если вы ответите «Нет» хотя бы на 2 из 3 приведенных выше вопросов, вероятно, пора перейти на другой проспект или в следующий район.
Помните - сосредоточьтесь на цели. Тот факт, что одна из ваших элегантных теорий не сработала, не означает, что ваш следующий набор идей не сработает. Если теория не сработала, то не потому, что вы неспособны и умны. Постарайтесь отделить свои эмоции от своих исследований.
Лучше сказать
«Эта идея не сработала. Хотя мы возлагали большие надежды, когда мы его протестировали, он не дал того, чего мы ожидали »
Чем сказать
«Нам нужно больше финансирования, потому что нам нужно продолжать повторять идею, которая, как мы не уверены, сработает»
Резюме
Достижение результатов - это не волшебство, это просто последовательность и дисциплина. Как исследователи, мы любим останавливаться на возможностях, думать об элегантных решениях сложных проблем. Однако в конце концов, вы несете ответственность за результаты, которые можете принести - особенно если вы работаете в частной компании, а не в исследовательском учреждении.
Говорите - и идите пешком k.
Спасибо за чтение!
Если вам понравилась эта статья, вам также могут понравиться:
