Какое у нас покрытие автотестами?

Перевод статьи "What is our automation test coverage?"

- Какое у нас покрытие автотестами?
- 42
- Что "42"?
- А что покрытие автотестами?

Спросив про покрытие, будьте готовы к подобному диалогу. Как говорится, какой вопрос, такой и ответ.

Вообще вопрос про тестовое покрытие достаточно скользкий. Задающий его должен осознавать все проблемы связанные с тестированием:

Тестирование может быть бесконечным, если его не ограничить. Ограничить его можно временными рамками (session based exploratory testing) или же урезанием объема тестирования (scripted testing). Урезать объем можно ограничением тестируемых функций и при помощи определенных техник тест дизайна.

В связи с тем, что мы не можем автоматизировать исследовательское тестирование, то вопрос о покрытии автотестами относится только к скриптовому тестированию, и означает процент автоматизированных тестов от всего количества ручных.

Давайте разберем небольшой пример:

Есть некоторое приложение, состоящее из нескольких страниц, форм, связанных между собой сущностей, функций и т.д. (не говоря уже об инфраструктуре). Чтобы провести тестрование близкое к полному тестированию, вам придется потратить не один день, неделю или месяц.

Урежем объем тестирования на основании техник тест дизана (Эквивалентное разделение , анализ граничных значений, анализа потока управления и т.д.), ограничившись только наиболее критичными данными и наиболее критичными сценариями. Сделав все это, мы получим покрытие на уровне «капли в море». Таким образом, на вопрос о покрытии автотестами, вы сможете ответить, что на данный момент у вас покрыто, предположим, 50% ручных тестов, что соответствует неопределенному проценту от полного тестового покрытия, которое вы делать не будете, и это значит ваше тестовое покрытие равно «42».

В случае если вы ограничиваете тестирование временными рамками и у вас нет ручных тестов, ответ «42» будет также вполне валидным. Так как объем проводимого тестирования всеравно бесконечно мал по отношению к объему полного тестирования.