Моделирование как доказательство концепции (POC)

Почему я отдаю предпочтение построению модели как Proof of Concept (POC) вместо того, чтобы следовать установленным методологиям, таким как CRISP-DM, SEMMA, AIE, MAD Skills и т. д.?

Несмотря на то, что большинство ученых, занимающихся данными, скажут, что это две разные вещи, которые используются для разных целей; один представляет собой методологию или пошаговый подход к созданию работоспособной модели, а другой — проверку вашей идеи, чтобы убедиться, что ваша модель возможна. Да, они разные. Однако цель состоит в том, чтобы иметь хорошую работающую модель в обоих подходах.

Вот причины, по которым я предпочитаю создавать рабочую модель как Proof of Concept (POC).

  • Гибкость. Это дает вам необходимую гибкость, вы можете включить цикл обратной связи, проверку, сторонние знания и SME на любом этапе процесса.
  • Benchmark — дает вам базовую модель, которую вы можете использовать в качестве эталона для сравнения с другими вашими моделями. Кроме того, вы можете в любое время продемонстрировать свою базовую модель в рамках участия.
  • Поддержка. Не все специалисты по данным являются инженерами по данным, работа над POC в качестве совместной задачи гарантирует, что большая часть тяжелой работы, такой как ETL, параллельные вычисления и предварительная обработка данных, будет выполняться на стороне сервера и позволит вам сосредоточиться на моделировании.
  • Целостный взгляд. Создав POC, вы увидите, как ваша модель вписывается в общую схему вещей, вы увидите плоды своего труда, а не просто изолированную модель. Также вы будете точно знать, какие инструменты, ресурсы и сколько времени потребуется для создания рабочего прототипа, потому что у вас будет полное представление о вашем творении.
  • Вызовы. Вы определите все свои проблемы на раннем этапе своего развития, и по мере их возникновения сможете их решать.

Это мои причины для создания модели с использованием подхода Proof of Concept; все разные. Тем не менее, я призываю вас попробовать. Я твердо верю, что вы будете очень довольны созданной вами моделью.