Pracownik zna pytanie klienta, ale nie wie, w którym pliku jest aktualna odpowiedź. Przeszukuje dysk, pyta kolegę i znajduje dwie sprzeczne instrukcje. Dla firmy z Nowego Sącza taki problem może być lepszym początkiem wdrożenia AI niż ogólny chatbot dostępny dla wszystkich.
Asystent wiedzy oparty na RAG najpierw wyszukuje materiał, a następnie przekazuje jego wybrane fragmenty modelowi do przygotowania odpowiedzi. Nie należy utożsamiać tego z trenowaniem modelu na wszystkich plikach firmy. Dokumentacja architektury RAG Microsoft rozdziela przygotowanie danych, wyszukiwanie i ocenę rozwiązania. Każdy z tych etapów wymaga osobnej decyzji projektowej.
Zacznij od właściciela dokumentu
Wskaż ograniczony zbiór, na przykład zatwierdzone instrukcje obsługi jednego produktu. Każdy dokument powinien mieć właściciela, wersję i informację o obowiązywaniu. Jeżeli źródło jest nieaktualne, poprawnie działające wyszukiwanie nadal może dostarczyć złą podstawę odpowiedzi.
Ustal też, co nastąpi po zmianie lub usunięciu pliku. Potrzebny jest proces aktualizacji indeksu oraz rozpoznawania wycofanych wersji. Samo ponowne wgranie folderu od czasu do czasu nie wyjaśnia, jak długo użytkownicy mogą otrzymywać odpowiedzi ze starej procedury.
Uprawnienia muszą działać przed odpowiedzią
Asystent nie powinien widzieć dokumentu tylko dlatego, że technicznie znajduje się on w indeksie. Tożsamość użytkownika i aktualne reguły dostępu muszą ograniczać materiał przekazywany modelowi. Sprawdź również cytaty, podglądy, historię rozmowy i pamięć podręczną. Ograniczenie samego linku do pliku może pozostawić dostęp do jego treści w odpowiedzi.
Przykład testu: dwie osoby z różnymi uprawnieniami zadają to samo pytanie. System powinien poprawnie obsłużyć obie sytuacje, bez ujawnienia istnienia lub zawartości chronionego materiału tam, gdzie polityka firmy tego zabrania.
Nie wystarczy polecenie „nie ujawniaj danych” w instrukcji dla modelu. Egzekwowanie uprawnień jest zadaniem aplikacji. W razie potrzeby integrujemy asystenta z systemem tożsamości i źródłami danych, a zakres sprawdzamy podczas audytu bezpieczeństwa.
Sprawdź, co faktycznie zawiodło
Nie każda błędna odpowiedź oznacza zły model. Przyczyną może być brak właściwej procedury, nieczytelny skan, niewłaściwy fragment w wynikach albo sprzeczne źródła. Podziel ocenę na etapy, żeby poprawiać przyczynę, a nie przypadkowo zmieniać ustawienia całego systemu.
| Obserwacja | Co sprawdzić | Możliwy następny krok |
|---|---|---|
| Brak odpowiedzi mimo istniejącej procedury | Import, dostęp i wyniki wyszukiwania | Poprawa przygotowania dokumentu lub wyszukiwania |
| Prawidłowe źródło, błędny wniosek | Zgodność odpowiedzi z przywołanym fragmentem | Zmiana formatu odpowiedzi i test regresji |
| Dobra odpowiedź ze starego dokumentu | Wersjonowanie i czas aktualizacji indeksu | Wycofanie wersji i kontrola ponownego indeksowania |
| Odpowiedź na pytanie spoza wiedzy | Czy system rozpoznaje brak podstaw | Odmowa odpowiedzi i skierowanie do człowieka |
Zestaw testowy musi zawierać także odmowy
Przygotuj pytania proste, wieloznaczne, nieobsługiwane i wymagające dokumentów niedostępnych dla danej osoby. Dodaj pytania, w których poprawną odpowiedzią jest „nie mam wystarczającej podstawy”. Kryterium nie powinno premiować płynnej wypowiedzi bez źródła.
Oceniaj, czy wskazany dokument rzeczywiście uzasadnia treść, a nie tylko dotyczy podobnego tematu. Zapisz wersję modelu, instrukcji i danych. Po zmianie któregokolwiek elementu ponów reprezentatywne testy. To zalecany sposób pracy, nie deklaracja określonego poziomu skuteczności.
Prosty zakres pilotażu dla firmy z Nowego Sącza
- Jeden zespół użytkowników i jeden typ pytań.
- Zatwierdzony zbiór dokumentów z właścicielami.
- Wyszukiwanie ograniczone uprawnieniami i odpowiedź z odnośnikiem do źródła.
- Ocena poprawnych odpowiedzi, odmów i przypadków niedozwolonego dostępu.
- Procedura zgłoszenia błędu, aktualizacji wiedzy i wyłączenia funkcji.
To propozycja zakresu, a nie opis istniejącego wdrożenia u lokalnego klienta. Na początku warto pozostawić asystenta w trybie odczytu. Dodawanie operacji zmieniających dane jest osobnym etapem z innymi wymaganiami.
Jak przejść do realizacji
W improveIT projektujemy wyszukiwanie semantyczne i rozwiązania RAG, integrujemy je z aplikacjami oraz ustalamy model utrzymania. Sprawdź pełną ofertę dla Nowego Sącza i opisz zasób wiedzy, który chcesz uporządkować. Nie przesyłaj poufnych dokumentów w pierwszej wiadomości.
Jeśli najpierw potrzebujesz uzasadnienia biznesowego, przeczytaj o pilotażu AI w Krakowie. Jeżeli problem dotyczy przepisywania danych z dokumentów, przejdź do automatyzacji dla firm z Tarnowa.
