Это девятая неделя, когда я прохожу эту замечательную программу в CXL, и бог знает, сколько замечательных вещей я узнал за это время. Это шанс на всю жизнь, который мне дан, и это здорово, особенно во время пандемии Covid19. Давайте начнем с того, что было запланировано для меня, чтобы узнать на этой неделе.

18. «Мастерство A/B-тестирования», Тон Весселинг.

  • Я стремлюсь к более практическим знаниям. Даст ли мне этот урок? Посмотрим.
  • Репетитор кажется очень грамотным и опытным в теме. Он является экспертом в этой области, и я надеюсь получить хороший опыт в этом курсе.
  • Он рассказал о периодах времени, когда развивалось A/B-тестирование. С самого начала Интернета, первых веб-браузеров, введения файлов cookie, оптимизации Google, запуска VWO и Optimizely и всех других улучшений в этой области. Было действительно приятно узнать о предыстории области, в которую я влюблен.
  • Затем Тон рассказал о переходе от тегов на стороне клиента к тегам на стороне сервера в ближайшем будущем.
  • У него более десяти лет опыта в области оптимизации конверсии и, в частности, A/B-тестирования. Тогда у кого еще лучше изучать этот предмет? На первый взгляд он кажется таким же ценным, как великий Пип Ладжа.

  • A/B-тестирование помогает вам принимать более обоснованные и надежные решения. Преподаватель рассказал о том, как работает индустрия здравоохранения, и показал мне пирамиду с разными уровнями достоверности.
  • В индустрии здравоохранения есть вещь под названием RCT (рандомизированный контролируемый тест), которая очень похожа на A/B-тестирование. Основная цель РКИ — убедиться, что гипотеза дает результаты и эти результаты воспроизводимы.
  • Когда нам нужно использовать A/B-тестирование? На самом деле нам нужно использовать его в бесчисленных ситуациях. Мы могли бы использовать его просто для использования, чтобы выяснить, какие элементы нейтральны для пользователя, и выяснить, какие элементы являются ключевыми значениями наших веб-страниц.
  • Вау, на парне был синий блейзер, и он просто снял его! Теперь он просто сам по себе, и мы увидим, как рассказывают лучшую историю.
  • Тон представил фреймворк, который он лично изобрел. Он называется ROAR и состоит из четырех основных этапов. Первые две части — это риск и оптимизация.
  • На первом этапе вам нужно не менее 1000 конверсий в месяц для запуска A/B-теста, а минимум конверсий в месяц — 10000.
  • Знаешь что? Тем же вещам, которым Георгий пытался научить меня на предыдущем уроке, теперь я учусь у Тони.
  • Теперь я знаю, что ложноположительно, а что ложноотрицательно. Ложноположительный результат — это то, что не является победителем в реальном мире, но ваши измерения объявляют его победителем.
  • Ложный отрицательный результат — это то, что является победителем в реальном мире, но ваши измерения говорят вам, что это настоящий проигрыш. Вы получаете то же, что и я? Здорово.
  • Становится интересно. Парень только что говорил о вещах, которые вы можете и должны измерять в своих A/B-тестах. Он действительно посоветовал не измерять клики, а вместо этого посоветовал изменить поведение и транзакции.
  • Он также говорил о чем-то под названием OEC, о котором я не так много слышал. Дело в том, что вы не должны просто измерять ради самого измерения. Вы должны стремиться к измерению воздействия, реального воздействия и ничего кроме него.
  • Следующий был большой. В основном он касался теории, называемой теорией 6V. Как я понял, эта модель предназначена для того, чтобы помочь вам оптимизировать ваши тесты.
  • Он был почти основан на теоретических материалах, но в нем были такие разделы, как значение, сравнение, проверка, просмотр, проверка и голос. Это было хорошо известно. Но я не знаю, какие приложения можно рассмотреть для этого материала.
  • И снова мы услышали имя Би Джея Фогга и Даниэля Канемана. С нетерпением жду новых полезных уроков.
  • Следующая часть была посвящена выдвижению гипотезы. Хорошо, если вы и ваша команда в чем-то согласны. Вы должны знать, куда вы хотите пойти, и гипотеза даст вам подсказку.
  • Гипотеза в основном основана на самоэффективности, или, по крайней мере, я думаю, что так сказал Тон. Самоэффективность — это то, что вы думаете, что не можете сделать, но как только вы думаете, что можете это сделать, вы действительно это сделаете.
  • Вы знаете, что хотите улучшить ситуацию после проведения A/B-тестирования. Вам нужно иметь несколько гипотез и проводить тест на их основе.
  • Он также дал формулу для выдвижения гипотезы. Можно просто указать текущую ситуацию, исход, средства и еще одну вещь, которую я сейчас не могу вспомнить.
  • Итак, я снова перебрал кучу терминов и методов расстановки приоритетов. Опять же, вы должны знать о PIE, ICE и новом, который, по словам Тона, он и его команда сделали. Он называется ТРУБА. Все они сосредоточены на схожих вещах.
  • Тон говорит, что все это может оказать влияние, если гипотеза, место и шанс оказать влияние, уместны и значительны.
  • Он использовал новый файл электронной таблицы и поделился им с аудиторией. Меня реально тошнит от всех этих электронных таблиц, которыми учителя делятся со своими учениками. Допустим, у вас их нет. Что вы будете делать тогда?

  • Сейчас самое время заняться проектированием, разработкой. Парень из Тона говорит, что вы должны следить за тем, чтобы не использовать более одного варианта (претендента) по сравнению с контрольной версией. Он говорит, что такая практика все портит!
  • Затем он рассказал о разработке методов. Было сказано, что вы никогда не должны использовать редактор WYSIWYG. Я не знаю точно, почему, но он сказал это
  • Затем он немного рассказал о тегах на стороне сервера и на стороне клиента, а также о плюсах и минусах каждого из них. Кажется, что тенденция на стороне сервера.
  • И после всех этих маленьких и больших шагов вы должны быть уверены в качестве своих тестов. Он конкретно говорил о QA. Стоит ли проверять A/B-тестирование на каждом устройстве? Не уверен, ни у кого нет на это времени и ресурсов.
  • Следующая часть была в основном посвящена Google Optimize, который мне очень нравится. Это был простой курс по внедрению того, как использовать этот замечательный инструмент.
  • Тон сказал (как и ожидалось), что вы никогда не должны изменять тест, пока он измеряется и обрабатывается. Это исказит данные, и это действительно плохая практика.
  • Пре-тест и пост-тест были замечательными вещами, о которых я не знал. Один предназначен для тех случаев, когда у ваших пользователей нет вашего файла cookie на их устройствах, а другой адресован пользователям, которые уже посетили ваш веб-сайт (и имеют файл cookie).
  • Когда вам разрешено останавливать тест? Это еще раз связано со всеми теми терминами p-значения и статистической мощности, которые мы пробежали, и я так и не понял их полностью.
  • И как только вы решите, что ваш тест завершен и его результаты можно использовать, не пытайтесь проявлять больше подозрений. Это сделано, и вы не должны терпеть это дольше.
  • Тон также рассказал о CUPID и байесовских методах для сокращения периода тестирования. Эти методы выглядели такими математическими, что я их не понимал!
  • Теперь вы проводите свои эксперименты. Вы должны постоянно проверять, все ли идет по плану. Страница работает так, как вы хотите? Влияете ли вы на доход? Вы теряете или получаете деньги? Кто-нибудь случайно изменил страницу или страницы, на которых вы тестировали? И много других вещей, о которых вы должны быть осторожны.
  • Когда вы измеряете результаты, остерегайтесь измерять пользователей, а не сеансы или просмотры страниц.
  • Вам нужны отдельные пользователи, которые заплатили вам, от тех, кто ничего не заплатил.
  • Следует избегать выборки данных. Эти данные необходимо рассматривать комплексно, и выборка может испортить весь эксперимент.
  • Затем речь шла о том, сколько данных из этих экспериментов следует публиковать. Кто должен быть в курсе того, что в вашей организации и какой доступ должен быть предоставлен конкретным людям?
  • И знаешь, что? Этот курс тоже становится скучным, потому что он также рассказывает о скучных вещах, которые лично мне не нравятся.
  • Еще один урок по измерению новых вещей, которые были мне непонятны. Новые термины, такие как FDR, TDR и ошибки типа M. Знаешь что, мне очень нужен учитель, который говорит по-английски без особого акцента. Я вовсе не злорадствую, просто хочу сказать, что фокусировка на акценте отвлекает внимание.
  • Нужно было понять одну или две формулы. Но Тон представил онлайн-калькулятор.
  • Мне понравился урок, который Тон рассказал о масштабировании экспериментов. Он сказал, что оптимизация коэффициента конверсии не должна быть просто частью компании. Но вместо этого у каждой команды и каждого члена компании есть дух экспериментов и действий, основанных на данных. Насколько хорошо это будущее?
  • Вы можете либо работать эффективнее, либо эффективнее. В одном из них вы собираетесь увеличить количество, а в другом качество — это то, что вам нужно.

19. Расширенный анализ экспериментов, Чад Сандерсон.

  • Я просто не могу поверить в то, что слышу. Новый учитель говорит о языке программирования R сразу же! Что здесь происходит? Что случилось с миром?
  • Буду ли я вынужден изучать этот язык программирования только ради курса?
  • Я скажу вам кое-что, и вы можете мне не поверить: это действительно курс, посвященный языку программирования R. Теперь я скачал и R, и RStudio, чтобы попрактиковаться во всех экспериментах. Кто знает? Может быть, это действительно полезно!

  • Чад начал говорить о том, что он имеет в виду, когда говорит, что нам нужно работать независимо от инструментов. Он буквально начал строить нужные ему метрики в R Studio.
  • Он также ввел понятие, называемое метрической иерархией. Самая важная метрика в иерархии называется северной звездой. Это своего рода изображает метрику зарабатывания денег для организации. Например, он указал на доход с посетителя (RPV).
  • Метрики уровня 2 менее важны, но все же ценны для компании. Например, такими показателями являются средняя стоимость заказа (AOV) и коэффициент конверсии (CR).
  • Наконец, у нас есть метрики уровня 3, которые почти всегда неправильно понимают и ошибочно принимают за важные метрики. Я имею в виду такие вещи, как просмотр страницы по количеству кликов.
  • Этот парень ботаник. Он использует студию R, как будто ест воду! Я только что видел основы t.tests и prop.tests в R. Очевидно, что Чад не хочет учить нас самому языку программирования R, а скорее показывает нам, как этот язык может заменить инструмент, который вы считаете зависимым. на.
  • Знаешь что? Это p-значение не оставит меня в покое! Куда бы я ни пошел, оно идет со мной туда! Я должен разобраться с этим немедленно!
  • Но на самом деле здорово видеть, как наши любимые инструменты вычисляют числа. Студия R показывает нам, как все измеряется в режиме реального времени.
  • Мне понравилась эта вещь ggplot2. С этим очень весело возиться.
  • Теперь я знаю, что A/B-тест популяризировался благодаря древним РКИ (рандомизированным контролируемым испытаниям), которые ученые проводили десятилетиями. Он в значительной степени основан на рандомизации.
  • Эта вещь с рандомизацией будет иметь жизненно важное значение во всем A/B-тестировании, и я знаю это, потому что Чад посвятил этому особый урок.
  • Каждый раз, когда вы запускаете тест и получаете значительный результат, вы должны думать о двух отдельных гипотезах. Либо вы делаете ложноположительную ошибку, либо результат на самом деле настолько значителен. Чад очень мастерски осмотрел все эти вещи в R.
  • Я не могу говорить о каких-либо функциях R, потому что я только начинаю с ним работать. Это просто введение, и все это знают.
  • Одна замечательная вещь: R может просто вводить и использовать файлы CSV, XLS, JSON и TXT. Так же, как настоящий инструмент визуализации. Разве вы не понимаете, что изначально он был построен с учетом визуализации в качестве основной функции?
  • Следующий урок был о p-значении и статистической значимости. Чад много говорил об этом и о том, как его измерить в R studio. Хорошо, что он может так хорошо работать с этим инструментом.
  • Я полностью понимаю, что делается, но я могу, по крайней мере, попытаться понять ключевые моменты, которые обсуждаются. Это то, что я могу сделать.
  • Урок 6 был для меня чем-то вроде других уроков. Я просто пытаюсь разобраться в уроках и понять, что на самом деле происходит.
  • Как обычно, он был полон регрессий и статистических показателей. Был термин, называемый f-тестами, который был ориентирован на дисперсию.
  • Чад преподает уроки, а я думаю о том, что могу сделать для компании, в которой работаю. Не то чтобы эти новые материалы были для меня бесполезными и интересными, но я думаю, что мне нужно использовать выводы, которые я получаю отсюда, в реальных сценариях.
  • Я знаю, что корреляция и причинность — две разные вещи, но я должен знать это в той мере, в какой не допускаю подобных ошибок в будущем.
  • Чад завершил курс несколькими повторениями. Он рассказал почти о каждой функции и каждом трюке, который использовал во время этого курса, и пытался запомнить их.

Заключительные мысли

Я думаю, что это была отличная неделя, особенно из-за последнего курса, который я прошел. Это была совершенно новая для меня тема, которая мотивировала меня более серьезно относиться к данным. Конечно, другие части этой недели также были великолепны. Я так благодарен за возможность узнать о них.