TFS 2015 vNext — выборочное выполнение автоматических тестов — нужен MTM?

Я создаю новую инфраструктуру автоматизации и имею право использовать TFS 2015 vNext с самого начала. Я так и сделал и определил свою сборку vNext как часть моего CI.

Я просто не могу найти способ, с помощью которого специалист по обеспечению качества или специалист по разработке могут выборочно выбирать, какой автоматический тест запускать (по какой бы причине это ни было) на любом из компьютеров в группе компьютеров. Я ожидал бы иметь такую ​​функциональность в концентраторе TEST, но ее нет.

Я что-то упускаю? Должен ли я по-прежнему использовать для этого MTM и определять сборку XAML, контроллер и т. д.? Любой способ объединить два? Я понял, что Microsoft собирается отказаться от Lab Center (и всего MTM), так что есть другой вариант?

(Я знаком с "Выполнение автоматических тестов в Build vNext с использованием Test Plan, Test Suites", но хотелось бы предоставить свободу выбора тестов.

Эволюция управления лабораторией

Спасибо!


person ClimbingLung    schedule 30.08.2016    source источник
comment
Вы имели в виду, что просто хотите настроить порядок выполнения автоматических тестов или случайный выбор, даже запустить только некоторые автоматические тесты, такие как тест вручную?   -  person PatrickLu-MSFT    schedule 31.08.2016
comment
выберите вручную, какие автоматизированные тесты запускать на одной из целевых (тестирующих) машин. Идея состоит в том, чтобы позволить QA или Dev запускать подмножество автоматизации по требованию, когда они хотят.   -  person ClimbingLung    schedule 31.08.2016


Ответы (1)


Нет никакого способа выбрать тесты из шагов запуска функциональных тестов, я помогу вам отправить запрос на функцию в VSTS/TFS User Voice, вы можете проголосовать за него здесь: Разрешить выбор тестового примера на шаге "Выполнить функциональные тесты"< /а>.

Обходной путь на данный момент будет заключаться в создании одного набора для каждого теста, чтобы вы могли выбрать его в определении сборки.

Или вы также можете использовать критерии тестового фильтра для запуска выборочного теста. Подробности см. по этой ссылке: Выполнение выборочных модульных тестов в VS 2012 с использованием TestCaseFilter.

person Eddie Chen - MSFT    schedule 07.09.2016
comment
Разве для этого не потребуется разрешение на фактическое изменение определения сборки/выпуска? Я не думаю, что мы хотим, чтобы все просто модифицировали определение сборки/выпуска. У нас тоже есть такая потребность, и я думаю, что что-то вроде этого поможет нам: visualstudio.com/en-us/docs/test/continuous-testing/. Однако эта функция доступна только в VSTS. Когда он будет доступен для локального TFS? - person AngieM; 16.06.2017