Najlepsze pytanie o AI w analizie nie brzmi „co model potrafi?”, lecz „w którym fragmencie mojej pracy koszt przygotowania i kontroli jest mniejszy niż ręczne wykonanie?”. Analityk przełącza się między odkrywaniem problemu, porządkowaniem materiału, modelowaniem, negocjowaniem decyzji i kontrolą spójności. Nie każdy z tych etapów korzysta z AI w ten sam sposób.
Mapa zadań: deleguj czynność, zachowaj decyzję
| Rodzaj pracy | Dobre użycie AI | Co zostaje u analityka |
|---|---|---|
| Przygotowanie warsztatu | Grupowanie tematów, warianty pytań, lista niejasnych pojęć | Cel, dobór uczestników i kolejność decyzji |
| Opracowanie notatek | Ekstrakcja faktów, decyzji, zadań i pytań ze źródłami | Potwierdzenie znaczenia i właścicieli |
| Model procesu | Lista kroków, wyjątków i niespójności | Poziom modelu, semantyka BPMN i walidacja |
| Wymagania | Redakcja kandydatów i propozycje przypadków negatywnych | Cel, priorytet, wykonalność i akceptacja |
| Przegląd | Wyszukanie konfliktów oraz braków według checklisty | Ocena skutku i decyzja o poprawce |
Pętla pracy: cel, pakiet, propozycja, dowód
Cel
Zdefiniuj jedną czynność i format wyniku. „Pomóż mi z analizą” nie wyznacza kryterium poprawności. „Wydobądź z notatki decyzje, każdej przypisz cytat i oddziel pytania otwarte” daje wynik, który można sprawdzić. Warto od razu określić, czego model nie ma robić: dopowiadać faktów, zmieniać terminów czy wyciągać wniosków prawnych.
Pakiet kontekstu
Przekaż tylko potrzebne, dopuszczone dane. Dobry pakiet zawiera cel projektu, słownik, obowiązujące źródła, przykład oczekiwanego formatu i reguły oznaczania braków. Im więcej przypadkowych dokumentów, tym większa szansa, że AI połączy sprzeczne wersje. Poufność i retencję danych sprawdza się przed wysłaniem, a nie po otrzymaniu odpowiedzi.
Propozycja
Wynik powinien być roboczym artefaktem możliwym do porównania: tabelą, listą zmian, szkicem scenariusza. Proś o źródła i jawne poziomy pewności, lecz nie traktuj ich jako dowodu prawdziwości — model może pewnie wskazać błędny fragment. Dla złożonych zadań rozdziel ekstrakcję, redakcję i krytykę na osobne przebiegi.
Dowód
Sprawdź reprezentatywną próbę i wszystkie elementy o wysokim skutku. Potem przeprowadź normalną walidację z interesariuszem lub ekspertem. Dopiero zatwierdzony wynik trafia do repozytorium projektu. Jeżeli nie da się określić, kto i jak go sprawdzi, zadanie nie jest gotowe do wsparcia przez AI.
Przypadek: przygotowanie warsztatu o obsłudze zamówień B2B
Analityk otrzymał 70 zgłoszeń, starą procedurę i wyniki ankiety. Zamiast prosić o gotowy proces, zanonimizował materiał, nadał źródłom identyfikatory i zlecił trzy osobne zadania. Najpierw AI pogrupowała problemy według etapów zamówienia. Następnie wskazała sprzeczne definicje „rezerwacji towaru”. Na końcu przygotowała pytania, ale każde musiało zawierać źródło i wyjaśnienie, jaką decyzję pytanie odblokowuje.
Model uznał brak wiadomości e-mail za główny problem, ponieważ temat często występował w zgłoszeniach. Analityk sprawdził wolumen i odkrył, że większość zgłoszeń pochodziła od jednego klienta po incydencie. Ważniejszym problemem było ręczne zdejmowanie rezerwacji, występujące rzadziej, ale blokujące towar na kilka dni. AI pomogła przeczytać materiał; nie potrafiła samodzielnie zważyć kosztu i reprezentatywności.
| Krok | Czas ręczny | Czas z AI + kontrola | Zaobserwowany efekt |
|---|---|---|---|
| Tagowanie zgłoszeń | 150 min | 45 min | Szybciej, po korekcie 12% etykiet |
| Wykrycie sprzecznych pojęć | 60 min | 35 min | Dwa dodatkowe konflikty znalezione przez analityka |
| Agenda warsztatu | 45 min | 50 min | Brak oszczędności; zbyt długa redakcja wyniku |
| Podsumowanie po warsztacie | 90 min | 40 min | Korzyść przy numerowanych notatkach |
Mierz koszt całej pętli, nie szybkość generowania
Pomiar obejmuje przygotowanie danych, prompt, poprawki, weryfikację i naprawę błędów. Poza czasem warto śledzić udział wyników wymagających istotnej korekty, liczbę wykrytych luk, liczbę błędów przepuszczonych do przeglądu oraz satysfakcję odbiorcy artefaktu. Jeżeli kontrola zajmuje dłużej niż wykonanie znanej czynności, automatyzacja nie ma biznesowego uzasadnienia.
Zasady operacyjne zespołu
- Używaj narzędzi dopuszczonych przez organizację i klasyfikuj dane przed przesłaniem.
- Zapisuj wersję modelu, datę, zakres źródeł i osobę zatwierdzającą rezultat.
- Nie publikuj wygenerowanych ustaleń bez śledzenia do materiału lub jawnej decyzji.
- Stosuj wzorce promptów, ale dostosowuj kryteria kontroli do skutku błędu.
- Testuj proces na rzeczywistych przypadkach i okresowo sprawdzaj, czy jakość nie spadła.
- Zapewnij ścieżkę pracy bez AI dla danych lub decyzji, których nie wolno delegować.
Eksperyment przed wdrożeniem zespołowym
Wybierz około dwudziestu zakończonych przypadków z wynikiem referencyjnym. Połowę wykorzystaj do dopracowania instrukcji, a drugą połowę pozostaw jako próbę kontrolną. Zmierz czas całej pętli, liczbę istotnych poprawek i błędy według skutku. Nie poprawiaj promptu na podstawie każdego pojedynczego przykładu, bo powstanie instrukcja dopasowana do historii, która nie działa na nowych danych.
Po wdrożeniu ustal warunki zatrzymania: wzrost odsetka błędów, zmiana formatu źródła, nowa domena albo zmiana wersji modelu. Wtedy proces wraca do testu. Właściciel zastosowania powinien móc wskazać ostatni wynik ewaluacji, a użytkownik — oznaczyć odpowiedź jako niepewną i przejść na ścieżkę ręczną. To zamienia eksperyment z narzędziem w zarządzany sposób pracy.
Wzorzec zadania powinien zawierać także przykład wyniku niedopuszczalnego. Dla notatek będzie nim decyzja bez właściciela i źródła; dla procesu — dopisana reguła; dla wymagania — arbitralna wartość. Negatywny przykład pomaga użytkownikom rozpoznać ryzyko i ujednolica recenzję lepiej niż ogólne polecenie „sprawdź dokładnie”.
Rozsądne wdrożenie zaczyna się od jednego powtarzalnego zadania o niskim skutku błędu, z ustalonym wynikiem bazowym. Dopiero po pomiarze rozszerza się zakres. Szczegółowy workflow dla procesów znajduje się w materiale AI w analizie procesów, a dla wymagań — AI w analizie wymagań. Kryteria formalnego przeglądu rozwija tekst analityk jako kontroler jakości AI.
