Разочарование дата-сайентиста!

Да я специалист по анализу данных, и да, вы правильно прочитали заголовок, но кто-то должен был это сказать. Мы читаем так много историй о том, что наука о данных является самой сексуальной работой 21 века и привлекательными суммами денег, которые вы можете заработать как специалист по данным, что это может показаться работой абсолютной мечты. Фактор в том, что в этой области есть множество высококвалифицированных людей, увлеченных решением сложных проблем (да, это положительный момент, когда вы выдумываете), есть все, что можно любить в этой работе.

Но правда в том, что специалисты по данным обычно проводят 1-2 часа в неделю в поисках новой работы, как сказано в этой статье Financial Times. Кроме того, в статье также говорится, что специалисты по машинному обучению возглавили его список разработчиков, которые заявили, что ищут новую работу, с 14,3%. На втором месте оказались специалисты по анализу данных - 13,2% . Эти данные были собраны Stack Overflow в ходе опроса 64 000 разработчиков.

Я тоже был в этой должности и недавно сам сменил работу в области науки о данных.

Так почему же так много специалистов по обработке данных ищут новую работу?

Прежде чем я отвечу на этот вопрос, я должен уточнить, что я по-прежнему занимаюсь аналитикой данных. В целом, мне нравится эта работа, и я не хочу отговаривать других от стремления стать специалистом по данным, потому что это может быть весело, стимулирует и вознаграждает. Цель этой статьи - сыграть роль адвоката дьявола и раскрыть некоторые негативные аспекты работы.

С моей точки зрения, вот 4 основные причины, по которым я думаю, что многие специалисты по обработке данных недовольны своей работой.

1. Ожидания не соответствуют действительности

Большие данные похожи на секс подростков: все говорят об этом, никто толком не знает, как это делать, все думают, что это делают все остальные, поэтому все заявляют, что они этим занимаются… - Дэн Ариэли

Эта цитата очень уместна. Многие молодые специалисты по данным, которых я знаю (в том числе и я), хотели заняться наукой о данных, потому что все они были направлены на решение сложных проблем с помощью новых крутых алгоритмов машинного обучения, которые оказывают огромное влияние на бизнес. Это был шанс почувствовать, что работа, которую мы делаем, важнее всего, что мы делали раньше. Однако зачастую это не так.

На мой взгляд, именно то, что ожидания не соответствуют действительности, является основной причиной ухода многих специалистов по данным. Для этого есть много причин, и я не могу составить исчерпывающий список, но этот пост, по сути, представляет собой список некоторых причин, с которыми я столкнулся.

Все компании разные, поэтому я не могу говорить за них всех, но многие компании нанимают специалистов по обработке данных без соответствующей инфраструктуры, чтобы начать извлекать выгоду из ИИ. Это способствует проблеме холодного старта в AI. Добавьте к этому тот факт, что эти компании не могут нанять старших / опытных специалистов по обработке данных перед тем, как нанять младших, и теперь у вас есть рецепт разочарованных и несчастливых отношений для обеих сторон. Специалисты по обработке данных, вероятно, пришли писать интеллектуальные алгоритмы машинного обучения для получения информации, но не могут этого сделать, потому что их первая задача - разобраться в инфраструктуре данных и / или создать аналитические отчеты. Напротив, компании требовалась только диаграмма, которую они могли бы ежедневно представлять на заседании совета директоров. Затем компания разочаровывается, потому что они не видят, как быстро движутся ценности, и все это приводит к тому, что аналитик данных недоволен своей ролью.

Роберт Чанг привел очень проницательную цитату в своем сообщении в блоге с советами для молодых специалистов по данным:

Важно оценить, насколько хорошо наши устремления соответствуют критическому пути среды, в которой мы находимся. Найдите проекты, команды и компании, критический путь которых лучше всего совпадает с вашим.

Это подчеркивает двусторонние отношения между работодателем и специалистом по анализу данных. Если компания находится не в нужном месте или ее цели совпадают с целями специалиста по обработке данных, то, когда специалист по обработке данных найдет что-то еще, будет лишь вопросом времени.

Для тех, кто заинтересован, Самсон Ху предлагает фантастическую серию статей о том, как в Wish была создана команда аналитиков, которую я также нашел очень проницательной.

Другая причина разочарования специалистов по данным - это причина, аналогичная тому, почему я разочаровался в академических кругах: я верил, что смогу оказать огромное влияние на людей повсюду, а не только внутри компании. На самом деле, если основным бизнесом компании не является машинное обучение (мой предыдущий работодатель - издательская компания), вполне вероятно, что наука о данных, которой вы занимаетесь, принесет лишь небольшую дополнительную прибыль. Это может привести к чему-то очень важному, или вам может повезти, если вы наткнетесь на проект по добыче золота, но это менее распространено.

2. Политика правит безраздельно.

В выпуске политики уже есть блестящая статья, посвященная этому: Самое сложное в науке о данных: политика, и я призываю вас прочитать ее. Первые несколько предложений из этой статьи в значительной степени резюмируют то, что я хочу сказать:

Когда я просыпался в 6 утра, чтобы изучить Машины опорных векторов, я подумал: Это действительно сложно! Но, эй, по крайней мере, я стану очень ценным для своего будущего работодателя! . Если бы я мог получить DeLorean, я бы вернулся в прошлое и назвал бы Bulls ** t! на себя.

Если вы серьезно думаете, что знание множества алгоритмов машинного обучения сделает вас самым ценным специалистом по данным, вернитесь к моему первому пункту выше: ожидания не соответствуют действительности.

По правде говоря, люди в бизнесе, обладающие наибольшим влиянием, должны хорошо о вас воспринимать. Это может означать, что вам придется постоянно выполнять специальную работу, например получать числа из базы данных для передачи нужным людям в нужное время, выполнять простые проекты только для того, чтобы нужные люди имели правильное представление о вас. На предыдущем месте мне приходилось делать это много раз. Каким бы неприятным это ни казалось, это была необходимая часть работы.

3) Вы всегда готовы поговорить о любых данных

После того, как они сделали что-либо, чтобы угодить нужным людям, те самые люди, обладающие всем влиянием, часто не понимают, что имеется в виду под «специалистом по данным». Это означает, что вы будете не только специалистом по аналитике, но и специалистом по отчетности, и не забывайте, что вы тоже будете экспертом по базам данных.

Не только руководители без технических знаний делают слишком много предположений о ваших навыках. Другие коллеги-технологи полагают, что вы знаете все, что касается данных. Вы хорошо разбираетесь в Spark, Hadoop, Hive, Pig, SQL, Neo4J, MySQL, Python, R, Scala, Tensorflow, A / B-тестировании, NLP, во всем, что касается машинного обучения (и всего, что связано с данными что вы можете придумать - Кстати, если вы видите спецификацию вакансии со всем этим, написанным на ней, держитесь подальше. Это пахнет спецификацией вакансии от компании, которая понятия не имеет, какова их стратегия обработки данных, и они будут нанимать любого, потому что они думают, что найм любого специалиста по обработке данных решит все их проблемы с данными).

Но это еще не все. Поскольку вы все это знаете и очевидно, имеете доступ ко ВСЕМ данным, ожидается, что вы получите ответы на ВСЕ вопросы к ……. ну, он должен был попасть в почтовый ящик соответствующего человека 5 минут назад.

Пытаться рассказать всем, что вы на самом деле знаете и контролируете, может быть непросто. Не потому, что на самом деле кто-то будет думать о вас меньше, а потому, что как младший специалист по данным с небольшим опытом работы в отрасли вы будете беспокоиться о том, что люди будут думать о вас меньше. Это может быть довольно непростая ситуация.

4) Работа в изолированной команде

Когда мы видим успешные информационные продукты, мы часто видим профессионально разработанные пользовательские интерфейсы с интеллектуальными возможностями и, что наиболее важно, полезный результат, который, по крайней мере, воспринимается пользователями как средство решения соответствующей проблемы. Теперь, если специалист по обработке данных тратит свое время только на изучение того, как писать и выполнять алгоритмы машинного обучения, тогда он может быть лишь небольшой (хотя и необходимой) частью команды, которая приводит к успеху проекта, который дает ценный продукт. Это означает, что группы по анализу данных, которые работают изолированно, будут бороться за создание ценности!

Несмотря на это, во многих компаниях по-прежнему есть группы по анализу данных, которые придумывают собственные проекты и пишут код, чтобы попытаться решить проблему. В некоторых случаях этого может быть достаточно. Например, если все, что вам нужно, это статическая электронная таблица, которая создается раз в квартал, тогда она может дать некоторую ценность. С другой стороны, если цель состоит в том, чтобы оптимизировать и предоставить разумные предложения в индивидуальном продукте для создания веб-сайтов, тогда это потребует множества различных навыков, которых не следует ожидать от подавляющего большинства специалистов по анализу данных (только настоящий единорог в области науки о данных может решить эту проблему. один). Таким образом, если проект возьмет на себя изолированная команда по анализу данных, он, скорее всего, потерпит неудачу (или займет очень много времени, потому что организовать изолированные команды для работы над совместным проектом на крупных предприятиях непросто).

Таким образом, чтобы быть эффективным специалистом по обработке данных в отрасли, недостаточно просто хорошо выступить в соревнованиях Kaggle и пройти несколько онлайн-курсов. Это (не) к счастью (в зависимости от того, как вы на это смотрите) предполагает понимание того, как иерархия и политика работают в бизнесе. Поиск компании, которая соответствует вашему критическому пути, должно быть ключевой целью при поиске работы в области науки о данных, которая удовлетворит ваши потребности. Тем не менее, вам все равно может потребоваться пересмотреть свои ожидания в отношении того, чего ожидать от должности в области науки о данных.

Если у кого-то есть какие-либо дополнительные комментарии, вопросы или возражения, пожалуйста, не стесняйтесь комментировать, потому что конструктивное обсуждение необходимо, чтобы помочь начинающим специалистам по данным принимать обоснованные решения о своей карьере.

Надеюсь, я не отвлек вас от работы.

Спасибо за чтение :)