| Коммит / ветка / ран | Suites | Когда | Pipeline / статус |
|---|
Как считается матрица покрытия
Как считается %
- На каждый эндпоинт (из «Импорт Postman») заведено 4 фиксированных слота:
SMOKE,CONTRACT,NEGATIVE,FUNCTIONAL. - Слот считается закрытым, если у эндпоинта есть хотя бы один ACTIVE кейс с этим маркером — не важно, автотест это или ручной, и не важно, один кейс в слоте или десять.
- % = закрытые слоты / (количество эндпоинтов × 4).
Чему не верить (осознанные допущения)
- Кейсы с маркерами
PERMISSIONS,DESTRUCTIVE,MANUAL,EXPLORATORYв % вообще не участвуют — даже если привязаны к этому эндпоинту.PERMISSIONS— это про роли и доступы, а не про конкретный эндпоинт;DESTRUCTIVE— тесты, которые стирают всю БД или делают replace-импорт, поэтому гоняются отдельно (-m destructive -n1), не параллельно со всем остальным, и есть не у каждого эндпоинта. Реальных кейсов на эндпоинт обычно больше, чем видно здесь. - «Закрыт» ≠ «автоматизировано и гоняется в CI»: кейс со статусом
PLANNED(ещё не написан) илиMANUALзакрывает слот наравне с рабочим автотестом. - «Закрыт» ≠ «реально смэтчен с прогоном»: здесь не проверяется, находит ли раннер этот кейс по
@pytest.mark.cm(...)— для этого смотри % «Смэтчено» на вкладке «Раны». - Кейсы без привязки к эндпоинту (общие пермишен-кейсы, чек-листы и т.п.) вообще не влияют на % — ни в плюс, ни в минус.
- Черновики и архивные кейсы не считаются, даже если формально привязаны к нужному эндпоинту и маркеру.
- Знаменатель — только эндпоинты, реально загруженные через «Импорт Postman». Если коллекция устарела или неполная, % не отражает настоящую API-поверхность.