Я реализовал A/B-тест с помощью Google Experiments. Однако мы не хотели, чтобы A/B-тест начинался в течение определенного периода времени, и поэтому поставили условие, зависящее от даты, для показа варианта B. Из любопытства я все равно начал эксперимент до того, как вариант B выйдет в свет. Следовательно, в начале эксперимента Google Experiments выбирал для меня вариант (A или B, см. код ниже), и независимо от выбранного варианта я показывал вариант A (поскольку мы еще не достигли даты запуска). ). Это эффективно дает мне тест A/A, который, как я ожидал, будет ничьей. Google не знает, что на данном этапе я показываю одни и те же элементы страницы для каждого варианта.
Однако я получаю следующие результаты (с указанием просмотров страниц за сеанс):
На изображении выше показаны результаты до того дня, когда вариант B был запущен. Хотя я ожидал некоторого естественного изменения в просмотрах страниц, вариант B настолько постоянно выигрывает, что что-то кажется неправильным, поскольку на данный момент он показывает страницу, идентичную варианту A. Любые идеи, что я могу делать неправильно?
Вот код, который мы используем:
<script type="text/javascript"
src="//www.google-analytics.com/cx/api.js?experiment=MY_EXPERIMENT_ID"><!-- --></script>
<script>
function enableVariationB(shouldEnable) {
var enableExperimentDate = new Date(2015, 6, 10);
var today = new Date();
if (today < enableExperimentDate || shouldEnable) {
$('#variation_B').show();
} else {
$('#variation_B').hide();
}
}
//Call to Google Experiments to return 1 or 2 depending on
//which variation is to be shown to the user
var chosenVariation = cxApi.chooseVariation();
var pageVariations = [
function() {
enableVariationB(true);
},
function() {
enableVariationB(false);
}
];
$(document).ready(
pageVariations[chosenVariation]
);
</script>