Как провести тестирование браузера в Google Chrome, который постоянно обновляется

Как группы контроля качества проводят тестирование браузера Google Chrome?

Поскольку Google Chrome постоянно обновляется, возникает проблема с ограничением объема тестирования конкретной версией. Хотя мы можем ограничить поддержку IE8 и IE9, номер версии Google Chrome является движущейся целью.

Возможные подходы:

  1. заморозить версию Google Chrome на начало цикла разработки.
  2. Разрешить Google Chrome обновлять себя во время цикла разработки. Разрабатывайте и тестируйте любую версию, актуальную на данный момент.

Подход № 1 означает, что каждый должен синхронизировать определенную версию и редактировать свой реестр, чтобы предотвратить автоматические обновления. Кроме того, вы будете выпускать код для версии X, в то время как мир в основном автоматически обновится до версии X+1.

Проблема с № 2 заключается в том, что функциональность браузера может меняться в течение циклов разработки. Предположим, что QA завершается в понедельник, а код отправляется в рабочую среду. Если Google выпустит крупное автоматическое обновление во вторник, это может привести к поломке кода, и никто не узнает об этом, пока оно не будет запущено в производство.

Как с этим справляются зрелые организации веб-разработки?


google-chrome testing qa browser-testing
person frankadelic    schedule 01.08.2011    source источник

Ответы (4)


arrow_upward
1
arrow_downward

Мы выбираем вариант 2 по ряду причин.

1) Мы пытаемся имитировать пользовательский опыт во время тестирования (отключение обновления будет имитировать отклонение от нормы)

2) Предпочел бы найти дефект в последнем раунде тестирования, чем сообщать о нем пользователям.

3) Я не могу вспомнить ни одного случая, когда у нас возникал серьезный дефект, вызванный таким тестированием. Как ранее упоминал Мэтт, маловероятно, что их обновления нарушат важные функции.

Чтобы частично снизить этот риск, мы пытаемся использовать selenium для нашего основного функционального автоматического тестирования, чтобы постоянно тестировать разные браузеры. Это не улавливает все, но, по крайней мере, находит большие проблемы (например, отсутствующий столбец). Это также помогает быть гибким в этих вещах. Мы можем выпускать по любому необходимому графику (ежемесячно, еженедельно, ежедневно, если необходимо), поэтому, если будет обнаружена серьезная проблема, мы сможем исправить ее в тот же день.

person Steve Miskiewicz    schedule 02.08.2011

arrow_upward
1
arrow_downward

Сайты, которые используют стандартный/допустимый синтаксис HTML, JavaScript, CSS и т. д., вряд ли сломаются с обновлениями Google (или Firefox, или любого другого браузера, отличного от IE). Были ли в прошлом случаи, когда обновление Chrome нарушало законно действительный HTML/JS?

Лучший совет, по-видимому, состоит в том, чтобы убедиться, что ваш сайт максимально чист, и протестировать его во всех браузерах. «Отказ в поддержке» выглядит так, как будто это все равно отталкивает ваших пользователей.

person matt b    schedule 01.08.2011
comment
Один пример, когда обновление Chrome изменило поведение рендеринга: stackoverflow.com/questions/4991046/ - person frankadelic; 01.08.2011

arrow_upward
1
arrow_downward

Chrome обновляется автоматически и бесшумно, поэтому единственный разумный выбор — протестировать самую последнюю версию. Вы можете использовать несколько версий вперед, запустив разные каналы. : canary, development, бета-версия или стабильная версия.

Чтобы увидеть, как быстро происходят обновления Chrome среди пользователей, посмотрите на последний график здесь. .

person Uriah Carpenter    schedule 02.08.2011

arrow_upward
0
arrow_downward

Мы просто отключаем автообновление во всех браузерах и имеем множество виртуальных машин с разными версиями браузеров.

person BlackGaff    schedule 01.08.2011
comment
Вы отключили автообновление во всех браузерах для всех ваших пользователей? Хитрость... ;) - person Erik A. Brandstadmoen; 02.08.2011