Niewielka zmiana przechodzi przegląd i psuje naliczanie rabatu. Łatwo wtedy powiedzieć: „potrzebujemy więcej testów”. Przydatniejsze pytanie brzmi: który test wykryłby tę pomyłkę przed wydaniem i nie byłby przy tym nadmiernie kosztowny w utrzymaniu?
Gdy projekt ma mało testów automatycznych, sprawdzenie wszystkiego naraz zwykle nie jest realne. Zacznij od zachowań, których błąd powoduje istotną stratę albo narusza granicę dostępu. Przykładem jest podwójne obciążenie klienta, ujawnienie danych innego konta lub niezauważone zagubienie zamówienia.
Opisz błąd, zanim wybierzesz narzędzie
Zapisz konkretny przykład i oczekiwany wynik. „Rabaty działają” to za mało. „Anulowana pozycja nie wlicza się do minimalnej wartości zamówienia wymaganej w tej promocji” daje programistom i właścicielowi procesu regułę, którą mogą wspólnie ocenić.
Ustal kolejność według skutków błędu, częstotliwości zmian i trudności jego zauważenia. Często modyfikowana reguła cenowa może wymagać uwagi wcześniej niż stabilne ustawienie wyglądu o niewielkim znaczeniu. Historia incydentów dostarcza dobrych wskazówek, lecz uwzględnij też prawdopodobne awarie, które jeszcze nie wystąpiły. Oznacz założenia, aby można je było zakwestionować.
Umieść sprawdzenie blisko badanego zachowania
| Ryzyko | Przydatny pierwszy test | Co nadal trzeba sprawdzić |
|---|---|---|
| Błędna reguła cenowa | Test jednostkowy z przypadkami granicznymi | Poprawność danych wejściowych z reszty systemu |
| Błędna współpraca z bazą lub API | Test integracyjny tego połączenia | Cały proces użytkownika |
| Niedziałająca ważna ścieżka | Krótki scenariusz od początku do końca | Pozostałe reguły i warianty awarii |
Te sprawdzenia się uzupełniają. Test przeglądarkowy potwierdzi zakończenie zakupu, ale niewygodnie badać nim dziesiątki kombinacji rabatów. Szybki test reguły nie wykaże natomiast, czy właściwa ścieżka aplikacji w ogóle ją wywołuje. Wybierz najwęższy test, który potrafi wykryć dany błąd, a istotne połączenia sprawdź osobno.
Uprawnienia wymagają sprawdzenia odmowy
Poprawne logowanie niewiele mówi o kontroli dostępu. Sprawdź odrzucenie żądania bez uwierzytelnienia oraz brak dostępu zalogowanej osoby do zasobu innego konta po zmianie identyfikatora. Testuj API lub usługę, w której następuje weryfikacja. Ukrycie przycisku nie jest kontrolą uprawnień.
W integracjach uwzględnij powtórzone żądanie i spóźnioną odpowiedź. Czy wynik się powiela? Czy odrzucona operacja pozostaje widoczna? Kontroluj zależności zewnętrzne tak, aby awaria dostawcy nie zamieniała całego zestawu testów w trudny do wyjaśnienia hałas.
Zadbaj o wiarygodną informację zwrotną
Test, który raz przechodzi, a raz zawodzi bez zmiany kodu, uczy ignorowania błędów. Przypisz mu właściciela, ustal przyczynę i popraw go albo zastąp. Czasowe odizolowanie niestabilnego testu powinno być jawną decyzją z terminem przeglądu. Nie przedstawiaj wtedy niepełnego zestawu jako pełnej ochrony.
Pokrycie kodu pokazuje niewykonane ścieżki, ale wysoki procent nie dowodzi, że asercje wykryją błędny wynik. Oceniaj, co rzeczywiście potwierdzają testy. Po błędzie produkcyjnym dodaj najmniejszy przydatny test regresji i ustal, dlaczego wcześniejsze sprawdzenia go nie wykryły. Rozwijany zestaw uzasadnia swój koszt wtedy, gdy porażki są zrozumiałe, a wydania niosą mniej niepewności.
