Я пишу это, потому что меня уже спрашивали об этом, поэтому я подумал, что это будет полезно для более широкой аудитории. Полное раскрытие Я всего лишь скромный аспирант, который специально занимается обработкой естественного языка в клинических заметках, и я только пробовал другие способы использования ML. При этом я пару лет работал в Epic разработчиком программного обеспечения, поэтому я знаю, что говорю о вероятных источниках данных, поступающих в эти алгоритмы.
Некоторая лексика. Поскольку вокруг ходит много модных словечек, я подумал, что было бы лучше упростить все в две, легко запоминающиеся категории.
Большие толстые черные ящики — если вы слышите что-то вроде «нейронная сеть», «глубокое обучение», «скрытые слои», «эпохи» или «свертка», подумайте об этом. Существует множество различных инфраструктур, но в основном речь идет об умножении и корректировке матриц (эти страшные вещи из линейной алгебры) с сотнями/тысячами значений с использованием большого набора данных для поиска закономерностей и достижения вашей «задачи» — будь то извлечение симптомов. или предсказание рака у детей.
Monkey See Monkey Do Rules — если вы слышите что-то вроде «основанный на правилах», «эвристический», «управляемый экспертом» или «линейная регрессия», подумайте об этом. Вы, вероятно, уже используете такие модели в своей практике — вспомните ABC (Дыхательные пути, Дыхание, Кровообращение) для неотложной медицины или опросник, предназначенный для получения оценки жилищного риска.
Как только вы выясните, какой тип модели вам продают, прокрутите вниз до соответствующего раздела.
Большие толстые черные ящики
Сколько у вас есть обучающих данных, конкретно связанных с этой задачей? (если это прогнозируемый ответ «да/нет» — сколько «да»? сколько «нет»)?
Правильный ответ: не менее тысячи (пациентов, заметок и т. д.) образцов (в идеале больше).
Неправильный ответ. Наш набор данных содержит миллионы пациентов (конечно, но у скольких из них рак, который, как вы говорите, вы можете предсказать?).
Почему это важно? Небольшие или иным образом смещенные наборы данных приводят к так называемому «переоснащению», когда модель будет отлично работать на обучающих данных, но не сработает в реальной жизни.
Как обеспечить хорошее качество данных? С какими проблемами качества данных вы сталкивались и как вы справлялись с ними в прошлом?
Правильный ответ: зависит от конкретной задачи, но, как правило, вы хотите услышать что-то вроде «некоторые ко всем» проверяется вручную/проверяется дважды. Любой, кто честно говорит о проблемах с качеством данных, должен получить дополнительный балл.
Неправильный ответ: Качество наших данных отличное [меняет тему или иным образом замалчивает проблемы качества данных]!
Почему это важно: данные EHR исторически противоречивы с точки зрения вещей, которые очень важны для компьютеров (метаданные о том, кто их написал и когда, хранятся ли данные при изменении или в каждом экземпляре и тому подобное). Даже если продавец не может этого сказать (что справедливо), он не должен замалчивать проблемы качества данных. Если качество данных плохое, модель не будет работать. Яповторю: если качество данных плохое, модель не будет работать, и это плохая сделка. Если они «используют ваши данные», честно признайтесь себе в качестве своих данных. По моему опыту, более крупные практики будут иметь скрытые проблемы со стандартизацией, когда разные отделы хранят одну и ту же или похожую информацию в разных местах. Если это так, вам нужен огромный подъем, чтобы либо (1) нанести на карту все эти места, либо (2) перенести всех в одно место, прежде чем модель сможет работать. У практик также возникают проблемы, если они каким-то образом специализируются, потому что в имеющихся у них данных есть пробелы, которые сбивают машину с толку. Примером может служить специализированная больница третичного уровня, которая в основном полагается на пациентов, направленных по направлениям, и поэтому у них мало данных о пациентах до их направления.
Как структурированы обучающие данные и как эта структура соотносится с нашей системой?
Правильный ответ: мы потратили месяцы на разработку соответствующей схемы с помощью клинициста ИЛИ она числовая (лабораторные значения) ИЛИ она соответствует структуре, подтвержденной внешними данными (показывает ссылку на опубликованные статьи, а не статью). Это особенно верно для моделей, которые полагаются на «нечеткие» входные данные, такие как заметки, социальные детерминанты здоровья и т. д. В любом случае, они идеально сопоставляются 1:1 с чем-то в вашей системе.
Неправильный ответ: **сверчки**.
Почему это важно: машина не знает ничего лучшего — если данные структурированы по-другому или расположены в другом месте, они не будут работать без значительных изменений.
Обезьянки видят правила поведения обезьян
Имеет ли это [вопросник, модель, подход и т. д.] интуитивный смысл для подростка/самого скептически настроенного скряги, работающего в вашей практике? Серьезно, спросите подростка/самого скептически настроенного скрягу.*
Правильный ответ: Подросток/скряга смотрит на вас, как на глупого взрослого, которым вы являетесь, и закатывает глаза. "Дух" говорят.
Неправильный ответ: Подросток/скряга смотрит на вас, как на глупого взрослого, которым вы являетесь, и закатывает глаза. "Хм?" они говорят.
Почему это важно? Когда вы покупаете одну из этих моделей, вы покупаете качество чьего-то мышления. Если он не интуитивно понятен, он, вероятно, неправильно дистиллировался. Если он не дистиллировался должным образом, его будет нелегко запомнить или использовать. Если он не прост в использовании, он не будет использоваться, и это будет пустая трата денег.
Сколько времени ушло на внесение последнего изменения в модель/Сколько времени ушло на настройку модели? Сколько изменений запрошено и сколько из них реализовано?
Правильный ответ: В идеале от минут до дней. Они должны быть в состоянии подробно объяснить, как они решают внести изменения, и предполагаемые сроки. Любой, у кого есть какая-то электронная таблица с актуальной контактной информацией со всех соответствующих сайтов или заинтересованных сторон, которым необходимо подписать изменение, получает дополнительный балл. Еще один момент касается поставщиков, у которых есть прозрачная система обратной связи, где практики могут видеть предложения от других практик.
Неправильный ответ: все, что дольше 3 месяцев. Говорить что-то вроде «мы принимаем во внимание отзывы всех заинтересованных сторон», но не иметь возможности перечислить важные имена — плохой знак.
Исключение: Хорошо зарекомендовавшие себя модели, внедренные и активно используемые в ›50 местах или проверенные в исследованиях ›50 человек. Вы можете легко отправить опрос и найти людей для ответа за 3 месяца, если вы хорошо организованы. С большим масштабом сложнее.
Почему это важно: Все модели разрывают контакт с реальностью. Если они не хотят или не могут быстро вносить изменения, основанные на здравом смысле, по мере поступления отзывов, вам не следует покупать. Если есть что-то, что не совсем подходит для вашего населения, ваш передовой персонал начнет работать над этим, если только это не будет быстро изменено. Если они все равно работают/делают свое дело, то какой смысл тратить хорошие деньги на модель?
TLDR:
Большие толстые черные ящики: если данные для обучения недостаточно хороши, не покупайте.
Правила Monkey See Monkey Do: если это не интуитивно понятно, не покупайте.
* Если вы не знаете, кто самый скептически настроенный скряга, возможно, это вы.
