Почему Google Experiments показывает значительные различия в конверсиях в моем тесте A/A?

Я реализовал A/B-тест с помощью Google Experiments. Однако мы не хотели, чтобы A/B-тест начинался в течение определенного периода времени, и поэтому поставили условие, зависящее от даты, для показа варианта B. Из любопытства я все равно начал эксперимент до того, как вариант B выйдет в свет. Следовательно, в начале эксперимента Google Experiments выбирал для меня вариант (A или B, см. код ниже), и независимо от выбранного варианта я показывал вариант A (поскольку мы еще не достигли даты запуска). ). Это эффективно дает мне тест A/A, который, как я ожидал, будет ничьей. Google не знает, что на данном этапе я показываю одни и те же элементы страницы для каждого варианта.

Однако я получаю следующие результаты (с указанием просмотров страниц за сеанс): введите здесь описание изображения

На изображении выше показаны результаты до того дня, когда вариант B был запущен. Хотя я ожидал некоторого естественного изменения в просмотрах страниц, вариант B настолько постоянно выигрывает, что что-то кажется неправильным, поскольку на данный момент он показывает страницу, идентичную варианту A. Любые идеи, что я могу делать неправильно?

Вот код, который мы используем:

      <script type="text/javascript" 
              src="//www.google-analytics.com/cx/api.js?experiment=MY_EXPERIMENT_ID"><!-- --></script>

      <script>
            function enableVariationB(shouldEnable) {
                var enableExperimentDate = new Date(2015, 6, 10);    
                var today = new Date();

                if (today < enableExperimentDate || shouldEnable) {
                    $('#variation_B').show();
                } else {
                    $('#variation_B').hide();
                }
            }

            //Call to Google Experiments to return 1 or 2 depending on 
            //which variation is to be shown to the user
            var chosenVariation = cxApi.chooseVariation();

            var pageVariations = [
                      function() {  
                          enableVariationB(true);  
                      }, 
                      function() {
                          enableVariationB(false);    
                      }
            ];

            $(document).ready(
                 pageVariations[chosenVariation]
            );
     </script>

person Chris Knight    schedule 28.07.2015    source источник
comment
только что наткнулся на этот старый вопрос ... вы когда-нибудь понимали, что происходит?   -  person andi    schedule 02.02.2016
comment
К сожалению, нет, никогда не делал :(   -  person Chris Knight    schedule 05.02.2016


Ответы (1)


Хм. Перед просмотром данных в настройках эксперимента необходимо выполнить проверку today < enableExperimentDate перед вызовом cxApi.chooseVariation().

Причина: даже если с точки зрения Google посетителю назначен вариант Б, если он не прошел проверку даты эксперимента, пользователь увидит вариант А, даже если предполагается, что он находится в варианте Б.

Теперь, глядя на данные,

  1. Недостаточно трафика: сколько трафика получает ваш сайт/приложение? Это может быть просто совпадением, если объем трафика низкий, и результат не является окончательным.

  2. Неясные показатели успеха/общие критерии оценки (OEC). Несмотря на то, что вариант B имеет большее количество просмотров страниц, чем вариант A, какой показатель успеха вы пытаетесь оптимизировать в своем эксперименте? Недостаточно смотреть только на количество просмотров.

  3. Делать выводы слишком рано: если OEC, например, увеличить количество просмотров страниц с 1 до 2 в зависимости от объема трафика, который ваш сайт получает в день, и, скажем, требуется 1 месяц, чтобы этот объем данных достиг 95% уверенности в своем эксперименте, экспериментатор не должен заранее смотреть на результат и делать выводы о том, какая обработка выиграла, а какая нет -- потому что у нее еще нет достаточного трафика, чтобы дать вам 95% уверенности.

  4. Это по-прежнему положительно для ложноположительного результата: даже если мы уверены в результате с уверенностью 95%, все еще существует 5%-ная вероятность получения ложноположительного результата. То есть, если вы проведете 20 тестов, статистически говоря, 1 из результат теста будет неверным. Вот почему экспериментаторы нередко повторно проводят эксперименты в более позднее время, просто чтобы быть уверенными.

Надеюсь, пункты выше помогут!

person DashK    schedule 07.10.2015
comment
Спасибо за ваши комментарии. Наш трафик измеряется несколькими тысячами в день. Мы пытались измерить увеличение вовлеченности. Тем не менее, с учетом объема трафика, который у нас есть, я ожидал большей вариации в среднем ежедневном просмотре страниц за сеанс. Я повторил этот эксперимент с еще более простой реализацией, убрав все, кроме вызова ChooseVariation(). Идентичные страницы, которые Google считает двумя вариантами, показывают те же результаты, что и выше. Мой «вариант» превосходит оригинал каждый день, пока Google не выберет «победителя» (мой вариант). - person Chris Knight; 08.10.2015