Оригинальная история была опубликована здесь 26 октября 2020 г.:https://www.rga.com/futurevision/pov/creative-companies-push-tech-boundaries-podcast

А послушать подкаст можно здесь: https://w.soundcloud.com/player/?url=https%3A//api.soundcloud.com/tracks/918042154&color=ff5500&hide_related=true&show_comments=false&show_teaser=false

НИК:[00:23:43] Я думаю, что для языка влияние будет значительным, потому что на самом деле это очень умно. И понятия не просто регургитация. Концепции — это законно сжатая информация, которая может дать вам новые идеи. И я не имею в виду что-то вроде стиля Поллока, повесить что-нибудь на стену, и это вдохновляет. Но я имею в виду, это даст вам другой взгляд на вещи. И вы можете видеть из чатов, которые я веду на каналах, то, как я нахожу это очень замечательным, насколько многие ответы, которые он дает, совершенно точны. Но я думаю, что другая часть этого заключается в том, что с точки зрения создания контента и моментов, когда, как я думаю, в предыдущем замечании Джона, здесь отличается то, что вы обучаете модель. В определенном стиле и определенном концептуальном шаблоне вы можете попросить модель воспроизвести этот стиль и шаблон. И, например, на прошлой неделе R/GA запустила новую домашнюю страницу, и у нас есть ряд дифференциаторов, которые мы используем, чтобы описать себя, и у нас просто есть определенный способ говорить о себе, тип языка, который трудно описать. Было бы трудно проинформировать кого-то: «Мы хотим, чтобы это было дерзко. Мы не хотим использовать жаргон. Мы хотим и так далее». Но лучший способ сделать это — показать, на самом деле привести «вот примеры». И я обучил модель этим дифференциаторам. Теперь модель будет генерировать новые дифференциаторы, и в некоторых случаях они точны и забавны. Тот, который я только что придумал, пока мы разговаривали, как наш новый отличительный признак для R/GA: «Мы убегаем от чуши, но наш конус — «ни лжи, ни чуши, ни оправданий». Вот как, — я размещаю это на веб-сайте, Джон, — именно так мы ведем внутреннюю оценку и как мы стремимся работать с нашими партнерами. Мы опускаем друг друга на землю, когда погружаемся в собственное дерьмо. Мы задаем грубые вопросы и говорим неудобную правду. На самом деле речь идет не об инновациях ради инноваций, а об инновациях для воздействия на человека. Это наша путеводная звезда, и она делает каждую беседу с клиентами ощутимой реальностью». Поэтому, когда вы слышите и видите подобные результаты, вы начинаете думать: «Хорошо, так что это похоже на очень реальное потенциальное приложение для создания контента и вдохновения копирайтеров». Я не вижу, чтобы это обязательно генерировало результаты, которые выходят за дверь конечным пользователям. Но я думаю, что сначала речь идет о вдохновении, а затем о том, что автор входит и редактирует результаты этого.

ШИРЛИ:[00:00:05] Всем привет, меня зовут Ширли Брэди, и добро пожаловать на подкаст FutureVision Conversations от R/GA, где мы исследуем свежее мышление и новые идеи, связанные с технологиями, творчеством, бизнесом и как все это может помочь создать более человеческое будущее. Сегодня мы поговорим о том, о чем вы, возможно, слышали: GPT-3 или Generative Pre-Trained Transformer 3. Это модель прогнозирования языка третьего поколения в серии GPT-N, созданная Open AI, которая является фор- прибыль Исследовательская лаборатория искусственного интеллекта в Сан-Франциско.

ШИРЛИ:[00:00:39] Вы можете думать об этом как о мощном автозаполнении, но это гораздо больше. И если ничего из этого не имеет для вас никакого смысла, не волнуйтесь. Сегодня у нас есть два человека, которые помогут объяснить, что такое GPT-3 и почему наша компания, R/GA, не только обращает на него внимание, но и пинает на нем шины. Итак, сегодня ко мне присоединились Ник Коронджес, главный технический директор R/GA, и Джон Туберт, наш старший вице-президент и руководитель отдела технологий, базирующийся в Нью-Йорке. Так что добро пожаловать вам обоим и большое спасибо, что нашли время сегодня.

ШИРЛИ:[00:01:11] Я думала, что мы начнем с общей картины и действительно просто обрамим ее, почему мы вообще говорим об этом сегодня? Итак, как мы все знаем, R/GA известна тем, что исследует технологии от имени наших клиентов и помогает консультировать и направлять технологические инвестиции компаний, которые они могут и должны сделать, не просто быть первопроходцами ради того, чтобы быть первопроходцами, но действительно помогать решать проблемы, способствовать инновациям, а затем думать о том, что людям иногда нужно, прежде чем они даже осознают, что им это нужно. Мы называем это проектированием более человеческого будущего. Это прямо на нашей домашней странице rga.com, это наше ценностное предложение и наша цель. И я просто подумал, что мы начнем с этой части. И, может быть, Ник, это хороший пример глобальной макропрограммы для вас, просто с точки зрения того, как мы думаем о новых технологиях, прежде чем мы углубимся в особенности GPT-3.

НИК:[00:01:57] Конечно. Я начал работать в R/GA более 12 лет назад, и фоном для R/GA является то, что мы начали, когда Интернет как бы взорвался. Это был новый ландшафт, который мы все нашли. Мы увидели, что можем использовать множество линейных и статических форм контента, к которым все привыкли в то время. И они вдруг стали интерактивными. Они стали как бы живыми и дышащими. Вы могли бы вместо того, чтобы просто смотреть фильм линейно, у вас внезапно появились инструменты, которые могли превратить фильм в интерактив, почти выбрать свой собственный приключенческий опыт. И это породило целый вид коммерческого бизнеса — теперь, очевидно, массовый и почти львиная доля экономического роста — но в то время это был действительно сдвиг в сторону таких вещей, как каналы прямого взаимодействия с потребителем, активация брендов и цифровизация. И я думаю для себя и многих людей здесь, я также знаю Джона, когда это только начало бурлить, и мы не были совсем уверены, как это превратится в коммерческие возможности, мы были втянуты в это, и мы чувствовали что там что-то было. Мы чувствовали, что это возможность для инноваций и творчества, хотя в то время мы не знали, какую форму это примет. И с тех пор были своего рода прорывы. Были, конечно, мобильные и другие вещи в этом роде.

НИК: [00:03:26] И я думаю, когда GP2–3, которая сама по себе является своего рода постепенным развитием моделей GPT, которые были до нее, но когда GPT-3 достиг той зрелости, которой он достиг в последние несколько месяцев, когда мы начали видеть силу этой штуки, это было очень похоже на ранний Интернет и раннее ощущение возможности. И мы сделаем все возможное, чтобы объяснить, почему и почему мы думаем, что это так интересно для нас. И отчасти из-за того, что мы еще не знаем, что это за приложения. Но когда вы видите такого рода новую среду, вы начинаете понимать, что это компьютеры, способные почти разговаривать с нами. Вот где в раннем Интернете это было, сила была в том, как мы могли программировать компьютеры, чтобы делать что-то? Как мы могли бы использовать код для создания этих более глубоких, богатых, интерактивных впечатлений, этих разных способов транзакций и разных способов связи с людьми и с бизнесом. Таким образом, вы получаете представление о том, как это выглядит, когда компьютеры способны как бы воспроизводить идеи и иметь свой собственный голос, даже если этот голос исходит из начала ассимиляции множества других голосов и своего рода проглатывание данных и разговоров в Интернете, когда вы начинаете чувствовать, что эти модели живут своей собственной жизнью, это как бы пробуждает вас к мысли о том, что медиа снова изменятся. То, как мы проектируем, изменится. То, как мы пишем, изменится. То, как мы взаимодействуем с брендами, изменится. Это повлияет на такие вещи, как ваша роль копирайтера, ваша роль программиста, ваша роль стратега, и все это займет некоторое время, чтобы раскрыться. Но я думаю, что для многих из нас, кто играл с этим материалом, это кажется неизбежным. GPT-3 есть, я думаю, это то, что есть. А само по себе мы поговорим о том, что мы делаем в этом пространстве. Но я думаю, просто помещая это в контекст, это один из тех моментов, которые, я думаю, станут предвестниками этого, своего рода новой волны творчества. И это будет что-то, где мы увидим много действительно крутых вещей, выходящих в течение следующего года или двух в этом пространстве. Мы просто очень взволнованы этим.

ШИРЛИ:[00:05:44] Джон, что бы вы добавили к этому с вашей точки зрения — опять же, с точки зрения более широкой R/GA точки зрения?

ДЖОН:[00:05:51] Я согласен со многим из того, что сказал Ник. Я думаю, что это то, что очаровательно в этой новой технологии. Это изменит то, как мы делаем вещи. Как я уже упоминал, он может выполнять множество тестов, которые было практически невозможно сделать раньше, а также из-за того, как он был сгенерирован, из-за того, как он был обучен, он может делать вещи, о которых мы даже не знаем. о. Это почти как у ребенка, как у ребенка мозг развивается, заводится, ты не знаешь, что этот человек сможет сделать. И мы начинаем видеть это, начинаем видеть, даже если вы строите его для чего-то очень конкретного, он может раскрыться и начать делать что-то еще, очень хорошо связанное с этим. Очень интересно, во что это выльется.

НИК:[00:06:40] Вы знаете, просто основываясь на этом, я думаю, что еще одна важная особенность GPT-3 заключается в том, что она бросает вызов идее авторства. То же самое, я думаю, произошло и с Интернетом на заре, когда вы были копирайтером в доцифровом мире, где вы как бы работаете с арт-директором и копирайтером, и вы создаете вещь и эта вещь имеет форму. Разрывы строк все в одном месте. Содержание и текст фиксированы. Вы можете понять это правильно, а можете ошибиться. Но то, что вы выводите, фиксировано. Когда появились цифровые технологии, все изменилось, верно, потому что как автор или как создатель цифровой платформы, нет никакого способа фактически наметить все состояния, в которых будет находиться платформа. Другими словами, вы можете спроектировать веб-сайт, но это произойдет только после того, как веб-сайт заработает, и пользователи начнут с ним взаимодействовать, загружать контент, совершать с ним операции, и данные будут накапливаться таким образом, который вы никогда не могли предсказать. Во многом именно здесь R/GA преуспела в том, что взяла принципы проектирования и применила их к этому теперь уже нелинейному пространству.

НИК:[00:07:45] Именно это и происходит, но на другом уровне, с GPT-3. Это немного похоже на разработку игр, а не веб-сайтов, правильно, когда мы собираемся создать правила, руководства по стилю и руководящие принципы, и мы собираемся поставить, как бы установить ограждения и своего рода обучение, чтобы делать эти вещи, но медленно, но верно процесс создания цифровых вещей будет больше похож на то, где мы ставим эти ограждения, мы даем указания, мы обучаем или формируем, но сама вещь будет иметь гораздо больше состояний и гораздо больше результатов, чем вы можете предсказать или спроектировать. Так что это будет больше похоже на садовника, который заботится об этих вещах, правильно их строит и взаимодействует с ними, чем на ландшафтного дизайнера, который остается на месте. Ты уходишь и возвращаешься утром, и все остается таким, каким ты его оставил. Эта концепция авторства будет гораздо более интерактивной, чем раньше.

ШИРЛИ:[00:09:02] Может быть, с точки зрения непрофессионала, как можно проще, просто объясните, что это такое и как это работает для тех, кто даже не знает, что такое GPT-3. на самом деле, как бы вы это объяснили?

НИК: [00:09:21] Да, сейчас было бы хорошо сделать резервную копию и немного поговорить о том, что такое GPT-3 и как вы с ним взаимодействуете, как он на самом деле оживает, и все вещи, о которых мы говорили более конкретно. Что ж, GPT-3 — это языковая модель, которая была построена в основном путем приема доступных данных, в основном текстовых данных из Интернета, и создания по существу сжатой версии этих взаимодействий. Таким образом, он понимает не только весь проглатываемый текст, но и шаблоны, и тип грамматики, и логические отношения между понятиями. Когда вы взаимодействуете с GPT-3, по сути, это то, что вы увидите, если будете его использовать, и есть несколько разных мест, куда люди могут пойти и попробовать его на себе. Вероятно, первым, где я действительно был в восторге от этого, была игра в приложение под названием AI Dungeon, то есть если вы заплатили за модель дракона, я думаю, что сейчас это работает так, вы получаете доступ к версии GPT-3. этого. И, по сути, это своего рода интерактивная история «выбери свое собственное приключение», в которой пользователь может вводить текст, а рассказчик типа AI Dungeon отвечает и строит историю вокруг вас. Так что происходит то, что GPT-3, по сути, интерпретирует ваши входные данные как подсказки и отвечает на них. И эта конкретная модель была доработана, что является другим способом сказать, что есть эта базовая модель, эта эта гигантская базовая модель, на которой она построена, и тонкая настройка заключается в добавлении более конкретной, более специфичной для предметной области , своего рода вселенная языка вдобавок ко всему. Таким образом, это языковая модель, которая понимает — я использую этот термин потенциально спорно, — но понимает и моделирует отношения между понятиями и может на удивление хорошо работать, продвигая вперед повествование, повествование, основанное на вербальном тексте. Так что это начало, и я думаю, что все вещи, о которых мы будем говорить, являются своего рода расширениями этой концепции и того, что это будет означать для других в других областях. Но это и есть GPT-3 по своей сути. И его можно применять ко многим различным языковым задачам, повествование — лишь одна из них.

ДЖОН: [00:11:55] Чтобы объяснить это немного по-другому, простыми словами, и чем это отличается от других моделей или даже других итераций GPT, приведя им очень маленькие примеры , скажем, пометить данные. Вы можете извлечь из этого урок и легко ответить. Так, например, если вы хотите сделать перевод, вы можете дать ему фразу на английском и фразу на испанском, а затем вы сделаете это еще три или четыре раза, а затем в следующий раз, когда вы дадите ему фразу на английском языке, он вернет фразу на испанском языке. Или, например, выяснить даже маркировку вещей, прежде чем вам придется привести так много примеров, может быть, даже тысячи примеров того, что вы хотите, каковы входные данные, а затем каков ожидаемый результат. А затем для того, чтобы вы научились и поняли, а затем для того, чтобы внести свой вклад, дать вам то, что вы ожидаете. Итак, с GPT-3 действительно упрощается то, что, как вы упомянули, это предварительно обученная модель трансформатора, которая позволяет вам не обучать ее каждый раз, как это приходилось делать в предыдущих итерациях.

ШИРЛИ:[00:13:05] Я подумала, что было бы также полезно, может быть, в этот момент снова сформулировать это в пространстве ИИ. Многие люди, слушающие это, могут не осознавать, что R/GA на самом деле уже много лет занимается исследованиями ИИ для клиентов, вещей, которые есть в мире, от чат-ботов и не только, и, возможно, просто быстро инкапсулирует то, что мы делали в ИИ. и теперь, что приносит эта эволюция. Очевидно, это выходит за рамки чат-бота. Итак, не могли бы вы немного рассказать об этом произведении?

НИК:[00:17:05] GPT-3 на данный момент, я бы сказал, все еще находится в стадии разработки. Это то, на что мы тратим много времени, не зная точно, куда это пойдет. И одно из первых исследований, которое мы сделали, — это создать чат-бот GPT-3, по сути, интерактивный Slackbot, который сидит в наших каналах Slack и получает входные данные от всех в канале в виде подсказок и способен практически собрать свою собственную личность на основе этих взаимодействий. Так что это стало невероятно удивительным и ошеломляющим показом технологии и того, как она работает. Как будто у нас разные каналы. GPT-3 Slackbot существует в этих каналах, в разных личностях, имеет разную манеру говорить, имеет разные темы для разговора на каждом канале. Таким образом, это дает вам представление о том, насколько эта штука сильно отличается от чат-ботов, о которых мы думали даже год или два назад. Так что это пример того, как мы как бы выложили его за последний месяц или около того. И таким образом дизайнеры, копирайтеры и другие люди, связанные с R/GA, могут изучить и поиграть с ботом и понять, каковы его возможности. И мы думаем, что это приведет к другим источникам вдохновения о том, как использовать эту вещь так, как мы не можем себе представить прямо сейчас.

ШИРЛИ:[00:18:38] Джон, как человек, который был действительно погружен во многие наши работы по искусственному интеллекту и машинному обучению, и поскольку вы ищете и оцениваете, что возможно с чем-то вроде GPT-3 , что было у вас на уме и о чем это заставляет вас думать?

ШИРЛИ:[00:22:38] Ник, я наблюдала, как ты, в частности, разговариваешь с ботом GPT-3, и что меня снова поражает, как полного дилетанта в этом насколько поэтичны некоторые из них. Очень много утилитарных возможностей, что, опять же, очень полезно для компаний с точки зрения просто эффективности. Но для нас, находящихся на стыке творчества и технологий, я увидел, как два года назад я пошел в Бруклинский музей и увидел выставку Дэвида Боуи, как он нанял молодого специалиста по информатике, чтобы тот помог ему как бы идеи и посмотреть, что это вдохновило его с точки зрения создания песен. И я думаю, что он получил это от Уильяма Берроуза. И я думаю, что на самом деле существует действительно богатое наследие художников, писателей, создателей и т. д. И мы в творческих индустриях, знаете ли, используем такие инструменты, чтобы действительно вдохновлять творчество и новое мышление. Я имею в виду, Ник, ты буквально разговаривал и проверял это на себе. Как вы думаете, ваши впечатления от кого-то снова в этой песочнице и о чем они вас заставляют задуматься?

НИК:[00:26:57] Но с другой стороны это похоже на генерацию мира. Например, если вы думаете о веб-сайте как о чем-то вроде этого, вы заходите в эти кроличьи норы прямо на веб-сайте и хотите узнать об определенных вещах. И когда вы узнаете об этих вещах, вы нажимаете на эту страницу, затем есть набор других страниц, а затем есть ссылки на другой контент, и вы можете идти — разные люди хотят идти на разных уровнях глубины. Но может случиться так, что веб-сайты не такие, какие они есть, 1200 различных страниц, которые бренд имеет на своем корпоративном веб-сайте. Но может случиться так, что на самом деле происходит своего рода руководство по языковому стилю и обучение содержанию. И веб-сайт, опыт, который у вас есть, когда вы взаимодействуете с веб-сайтом, генерируется. И, конечно же, это тот случай, когда вы думаете об играх, современном игровом дизайне и таких вещах, как Fortnite и Minecraft, и обо всем остальном, где состояния не предопределены, они генерируются. И я думаю, что, опять же, с чем-то вроде AI Dungeon это, безусловно, так. Нет, никто не писал эти рассказы. Эти нарративы еще предстоит создать. И это изменение полностью зависит от того, что вы делаете как автор. Если вы думаете о писательстве как об обучении, то у вас есть своего рода фрактальный бесконечный набор результатов, которые вы создаете. Так что я думаю, что там есть изменения, и это звучит очень эзотерично и все такое. Но то же самое было с Интернетом, когда он только появился, верно. Это было похоже на то, что мы собираемся делать с TCPIP, HTML и гиперссылками?

НИК:[00:28:34] Я думаю, что с этой технологией мы находимся именно в этом, она звучит эзотерически. Сначала кажется, что это просто игрушка, но потом она как бы засасывает вас и принимает свою собственную форму. И я думаю, что это то, что мы увидим здесь. Я определенно думаю, что будут другие типы контента и другие типы интерактивных впечатлений, которыми это становится. Если нет, GPT-3 будет одним из многих шагов, которые необходимо предпринять. Но это один из тех моментов, когда это резкое изменение, и вы, конечно, видите, куда все движется.

ШИРЛИ:[00:29:08] Я также хочу спросить — опять же, как вы оба упомянули, еще очень рано. Это зарождается. Мы видели, как Microsoft только на этой неделе лицензировала его. Они тоже играют с этим. И мне просто любопытно, опять же, когда вы делаете шаг назад и смотрите на такого рода технологии и думаете — как вы объяснили, Ник, я очень хорошо подумал — что это просто часть эволюции. Это не обязательно ответ на все вопросы, но он определенно заставляет вас думать и видеть возможности. Когда вы говорите: «Хорошо, это может быть готово, если не совсем для прайм-тайма, но давайте попробуем что-нибудь». Например, что должно быть на месте, чтобы вы сказали: «Хорошо, действительно интересно». Ищет ли он подходящего клиента или возможность, или как узнать, когда нужно выйти за рамки прототипирования чего-либо, чтобы действительно взяться за дело и попробовать что-то с ним в реальном мире?

НИК:[00:29:55] Хорошо. Итак, есть две части, и я думаю, что одна из них, безусловно, будет местами, где вы можете начать, вы увидите это в виде активаций кампании, я думаю, что это будут забавные экспериментальные исполнения, которые мы ». увидим в ближайшие шесть-девять месяцев, я думаю, что в GPT-3, и в том виде домена, в котором он находится, также будут надежные корпоративные технические приложения это. Но это не будет на генеративном языке. Его не будет на языке генерации. Это будет в таких вещах, как языковой поиск, языковая классификация. Я думаю, что даже сейчас вы можете использовать GPT-3 для таких вещей, как классификация и языковой поиск, которые вы не можете сделать с другими моделями. Итак, вы увидите, что вы начнете видеть такие более конкретные варианты использования, которые используются в корпоративных приложениях или, вы знаете, в производственных приложениях, где вы увидите использование GPT-3. А затем в генеративном пространстве, я думаю, мы находимся в самом начале пути. Я думаю, что это одна из тех вещей, где я не думаю, что завтра она попадет в своего рода повседневный арсенал копирайтера. Но я думаю, что это тот, где также будет наибольший потенциал. Так что, с одной стороны, я бы сказал, что часть его уже готова. С другой стороны, я бы сказал, что чем больше я думаю об экспансивной генеративной стороне этого, вы увидите в кампаниях, более творческих исполнениях, но фактическая индустриализация этого аспекта потребует времени, многих лет. .

ДЖОН:[00:31:41] Да, я с этим согласен. Я чувствую, что для некоторых вещей это очень точно прямо сейчас. И это, вероятно, готово к прайм-тайму, особенно если они очень, если вы просите GPT-3 для очень конкретных вещей. Так что у него есть очень четкий шаблон, который он может распознать и сделать. Вы знаете, я приведу вам быстрый пример. У нас есть такая игра в R/GA, эта карточная игра называется Not So FAQ. Поэтому я использую GPT-3 для создания новых карт, так что карты ледокола. Итак, у меня уже есть вопросы-ледоколы, которые мы используем в игре, и, таким образом, генерируя больше вопросов, которые являются ледоколами, она может делать это очень хорошо, потому что видит шаблон, понимает язык, шаблон понимает, что ОК, это вопросы, это вопросы о ледоколе, так что он может это сделать. И даже сделать еще один шаг вперед, вы можете сделать это на нескольких языках. Поэтому я пытаюсь создать колоду на португальском и испанском языках и создать новые вопросы. И делает это очень легко. Если вам нравятся другие вещи, этого еще нет, и для этого все еще потребуется некоторая модерация в одной компании, одна из вещей, которую они сделали, похожа на A/B, используя для A/B-тестирования. Таким образом, вы можете попробовать, скажем, новый заголовок, новый заголовок для вашей веб-страницы, вашего веб-сайта, и вы можете попросить копирайтера написать его или вы можете попросить GPT-3 сгенерировать его, а затем посмотреть, какой из них работает лучше. Я имею в виду, буду ли я делать это вслепую, нажимать кнопку и позволять ей отправляться в мир, или, как говорил Ник, добавлять ее на rga.com, что-то вроде новых новых значений, таких как те, которые сгенерированы? Возможно нет. Правильно. Возможно нет. Не готов, не готов к этому.

НИК:[00:33:39] И если бы мы это сделали, мы бы не делились URL этой страницы с вами, ребята.

ШИРЛИ:[00:33:44] Я думаю, что все это просто невероятно ценная информация и контекст для этого, поскольку люди смотрят на эти новые технологии и на то, что они на самом деле означают в процессе, я думаю, это было увлекательно. и полезно. Так что спасибо вам обоим. И на этом, я думаю, мы закончим. Снова. Спасибо за уделенное время. И я лично, конечно, просто очень рад видеть, куда это пойдет и какие приложения могут быть, когда мы попробуем это, возможно, с некоторыми клиентами или продолжим продвигать некоторые тесты, которые мы делаем. Так что это очень информативно. Спасибо, что присоединились к нам сегодня. И снова вы слушали Ника Коронджеса, нашего глобального директора по технологиям здесь, в R/GA, а также Джона Туберта, нашего старшего вице-президента по технологиям, который, как и я, базируется здесь, в Нью-Йорке. Еще раз, я Ширли Брэди, и еще раз большое спасибо за то, что посетили нас. Пожалуйста, посетите rga.om. Вы можете взглянуть на то, что имел в виду Ник. Вы можете увидеть нашу последнюю работу, наше мышление и, пожалуйста, присоединяйтесь к нам снова в следующий раз. Большое спасибо.

Первоначально опубликовано на «https://www.rga.com».

Стенограмма подкаста - Тестируй и учись: изучение технологий для подхода, ориентированного на человека

Не пропустите технический директор R/GA Ника Коронджеса и старшего вице-президента, руководителя отдела технологий в Нью-Йорке Джона Туберта в нашем последнем подкасте.

Расшифровка: