Таль Шакед о присоединении к Snowflake после 16 лет работы в Google: Будущее машинного обучения
Где Тал рассказывает нам, почему он решил присоединиться к Snowflake после Google, и что будет дальше.
Было приятно видеть, как Тал Шакед присоединился к Snowflake после более чем 16 лет работы в Google. Что интересно в жизни Тала, так это то, что в 2004 году, когда мир узнал о MapReduce, он уже занимался машинным обучением в Google. Поэтому я позвонил Талю, и вы можете найти его ответы на видео выше. Или здесь, как расшифровано ниже:
Как проходила работа в области машинного обучения в Google в 2004 году, задолго до того, как мир обратил внимание на эту актуальную сейчас тему?
Тал: Приятно видеть, как меняется мир. Я всегда был поклонником машинного обучения/ИИ. На самом деле, я помню, еще будучи студентом, я работал над дипломной работой и подавал документы в аспирантуру. Я сказал: «О, вы знаете, я думаю, что меня интересует ML/AI». И мой советник в то время говорит: «О, ты справишься с этим чуть позже». Знаете, это как бы намекает, что на самом деле там было не так уж много.
Когда я присоединился к Google, я увидел, что существует так много данных, так много сложных проблем и эти действительно сложные эвристики, которые мы использовали для выполнения функций ранжирования. И я подумал: «О, это не может быть самым эффективным способом. У нас есть все эти люди, пытающиеся оптимизировать какую-то целевую функцию. И никто из этих людей, никто из нас не может обработать все данные и найти лучшую функцию».
Поэтому я и подумал, что машинное обучение может стать большим отличием. Итак, еще в 2004 году я был очень взволнован, я работал с некоторыми из лучших в мире специалистов по машинному обучению, пытаясь сказать: «Можем ли мы использовать машинное обучение для ранжирования в веб-поиске?» И я думаю, что ответ таков: да, ясно, что сейчас. Но я думаю, что тогда ответ был: да, мы тоже могли бы. Но это было сложно.
Не все согласились. Было много неопределенности в отношении того, как понимать и контролировать машинное обучение. И я думаю, что это было действительно здорово. Это помогло мне понять, насколько мощным является машинное обучение, а также насколько сложно его использовать и добиться от него большого успеха.
Итак, тогда я чувствовал, что немного против течения. Было намного проще проводить машинное обучение в таких местах, как реклама и другие места, где было легче измерить влияние. Но в таких местах, как ранжирование для веб-поиска, это было сложнее, потому что это был качественный вопрос. Нравятся ли нам результаты? Думаем ли мы, что сможем двигаться быстрее в долгосрочной перспективе? Я не думаю, что в таких случаях ответ был «да».
Оглядываясь назад, приятно осознавать, что теперь все хотят заниматься машинным обучением, и проблема заключается в том, как сделать это быстрее и как сделать так, чтобы это работало еще лучше? И мы очень постараемся это сделать. В то время как в прошлом нам нужно было больше проявить себя, нам нужно было доказать, что стоит перейти от более ручной системы к более машинному обучению, потому что у нас не было такого опыта или веры в то, что все станет лучше, как только мы начать использовать машинное обучение.
Вы проявили себя в этой области: улучшили поиск в 2004 году с помощью Rank Boost, затем построили платформу, которую Google использовала для запуска большинства моделей машинного обучения в производственной среде, и заложили основу для TensorFlow Extended. Затем в 2018 году вы ушли в Lyft, потом вернулись в Google, а потом начали искать. Чем отличилась Снежинка?
Тал:Это хороший вопрос. Я рассмотрел, наверное, 10 или около того разных мест, и есть много вещей, которые выделяют Снежинку. Что касается лидерства, я действительно связался с лидерами компании. Вы знаете, лидеры с инженерной стороны с точки зрения культуры и того, как мы принимаем решения. Лидерство с точки зрения учредителей. Страсть с точки зрения того, чтобы действительно делать что-то инновационное и трансформирующее. Как люди думали о данных и теперь пытаются сделать это в пространстве машинного обучения.
И поэтому я подумал, что это будет хорошо сочетаться с точки зрения культуры, инженерного продукта и всего остального. Я также посмотрел на технологическую сторону. И по своему происхождению я не специалист по данным; мое пространство гораздо больше в ML/AI. Итак, в Snowflake я увидел новый способ работы с облаком данных — новый способ управления данными в облаке. Есть возможность сделать обмен данными. Существует такое понятие гравитации данных, когда приложения и сервисы перемещаются близко к данным, а не постоянно перемещают данные между приложениями и сервисами. И я увидел, что это действительно интересно и новая задача, и компания проделала потрясающую работу по созданию продукта в области данных.
Теперь они хотят его расширить. Теперь Snowflake хочет расшириться на ML/AI, и я думаю, что это возможность объединить их. На самом деле, я видел это в прошлом, когда руководил несколькими командами, занимающимися электронной почтой. И когда мы привлекли людей с опытом работы с данными, вместе мы действительно добились большего. И поэтому я почувствовал, что с помощью Snowflake есть возможность перенести то, что мы сделали с данными, — подумайте о том, что мы можем сделать с помощью машинного обучения поверх этой основы.
Вы считаете Снежинку лучшим местом для строительства для всех?
Тал: Знаете, одна из причин, по которой я присоединился к Snowflake, заключается в том, что когда я разговаривал с основателями, они рассказали мне историю, которая вызвала у меня настоящий резонанс, когда они работали в Oracle, они создание современных технологий и баз данных. Но они делали это для своих главных клиентов. А тем временем вокруг них происходил весь остальной мир. Открытый исходный код, облако, новые способы работы.
И когда они покинули Oracle, чтобы запустить Snowflake, они оказались в другой части мира с другими техническими проблемами. И был совершенно новый способ строить вещи. Таким образом, для 200 крупнейших клиентов мира это было не самым современным решением. Это действительно сделало его доступным для десятков тысяч компаний по всему миру.
И я почувствовал, что испытываю то же самое. Вы знаете, когда я сравниваю свой опыт в Google и Snowflake, в Google, если вы хотите просто сосредоточиться на машинном обучении для 100 миллионов параметров, вы делаете это в такой компании, как Google. Но если вы хотите сосредоточиться на том, как мы действительно можем сделать машинное обучение доступным для всех, я думаю, что такая компания, как Snowflake, отлично подходит для этого.
Каккак сделать машинное обучение доступным для всех?
Тал:Когда я говорю «мы», я на самом деле чувствую, что это не только Снежинка, но и весь мир работает вместе. Я приведу вам другой пример. В этом пространстве так много компаний, которые сотрудничают друг с другом. У Snowflake много партнеров, и мы сотрудничаем со многими компаниями, будь то в области машинного обучения, пространства данных, коннекторов и так далее. В таком месте, как… в более крупной компании, все эти части находятся в одной компании, и поэтому они совпадают. В таком месте, как Снежинка, весь мир работает вместе, чтобы все эти компании, эти маленькие компании могли двигаться быстрее. И я думаю, что это то, что я действительно не ценил, пока не побыл какое-то время в Snowflake. И я на самом деле вижу… это очень интересно, потому что здесь больше совпадений, но также и больше инноваций. А на самом деле тяжело. Нам в Snowflake сложно, но нашим клиентам и партнерам также сложно понять, какие из этих частей нужно собрать вместе, чтобы создать новые базовые технологии и новые продукты.
Что мы можем сделать в Snowflake, чтобы упростить эту задачу?
Тал: В такой компании, как Snowflake, мы строим фундамент. Есть данные — нам нужно построить фундамент. Но машинное обучение настолько велико, что людям потребуются специальные знания, будь то в области финансов, наук о жизни или рекомендательных систем. И даже там они, вероятно, будут создавать разные хранилища функций, разные платформы машинного обучения, разные комплексные решения. И тогда другие компании будут использовать их. Так что я просто думаю, что это пространство действительно большое. Я думаю, что в Snowflake мы должны делать то, что мы делаем очень хорошо — совместное использование данных, чистые помещения, построение поверх облака данных — где каждый может обмениваться данными друг с другом. Но я думаю, что все еще остается много открытых вопросов о том, как именно мы можем достичь всех в мире наилучшим образом. Я считаю, что если мы сосредоточимся на сквозных решениях, мы получим несколько хороших, но они будут работать для узких вариантов использования. И если мы создадим правильную основу, то, работая с другими, мы сможем со временем обеспечить наилучшее качество обслуживания для всех.
В чем отличие, когда клиенты и партнеры выбирают работу со Snowflake?
Тал: Я чувствую, что для такой быстрорастущей компании, как Snowflake, многое зависит от скорости. И многие наши партнеры и многие наши клиенты тоже быстро растут. Поэтому я думаю, что мы определенно склоняемся к тому, как мы можем помочь нашим клиентам быстрее использовать ML/AI для решения своих проблем? И в отличие от этого, поскольку некоторые другие компании более зрелые, оптимизация намного больше. Это похоже на то, как мы можем сэкономить или сократить расходы, а не на то, как мы можем расти быстрее? И поэтому здорово находиться в месте, где, я бы сказал, рост Snowflake, а также рост наших партнеров и наших клиентов действительно важнее всего.
Что бы вы сказали другим экспертам в области машинного обучения, рассматривая Snowflake?
Тал: Знаете, это действительно отличное место, куда могут прийти люди с большим опытом работы в области машинного обучения/ИИ и помочь сформировать то, что произойдет в компании, которая уже добилась невероятного успеха в родственная, но немного другая область. Итак, когда я посмотрел на это подробнее, я почувствовал, что это, вероятно, то место, где мой опыт может оказать наибольшее влияние. И я думаю, что это на самом деле относится ко многим другим людям в сфере машинного обучения. Все вы, кто занимался машинным обучением, вероятно, видели это на практике. И я думаю, что Snowflake — одно из мест, где можно получить самые большие рычаги влияния с точки зрения извлечения этих знаний и помощи в создании фундамента. Работайте с партнерами, работайте с клиентами над решением проблем, требующих машинного обучения, и делайте это так, чтобы со временем мы смогли охватить тысячи, если не десятки тысяч, разных компаний и людей.
В заключение
И это было мое интервью с Талем!
Если хотите узнать, что будет дальше, следите за нашими анонсами на Summit 2022 — это интересно!
Спасибо Талю и всем нашим замечательным товарищам по команде, клиентам и партнерам. Вы также можете присоединиться к Data Cloud. Чтобы узнать больше о Тале, прочтите его пост Почему Snowflake был моим следующим стратегическим ходом после Google.
Хочу больше?
- Попробуйте это с учетной записью Бесплатная пробная версия Snowflake — вам нужен только адрес электронной почты, чтобы начать.
Я Фелипе Хоффа, специалист по Data Cloud Advocate Snowflake. Спасибо, что присоединились ко мне в этом приключении. Вы можете подписаться на меня в Twitter и LinkedIn. И подписывайтесь на reddit.com/r/snowflake, чтобы быть в курсе самых интересных новостей Snowflake.
