Blog

AI w Nowym Sączu: asystent wiedzy oparty na RAG

AI w Nowym Sączu: asystent wiedzy oparty na RAG

Jak wdrożyć firmowego asystenta wiedzy: dokumenty, uprawnienia, aktualizacja źródeł i ocena odpowiedzi. Przewodnik dla firm z Nowego Sącza.

Pracownik zna pytanie klienta, ale nie wie, w którym pliku jest aktualna odpowiedź. Przeszukuje dysk, pyta kolegę i znajduje dwie sprzeczne instrukcje. Dla firmy z Nowego Sącza taki problem może być lepszym początkiem wdrożenia AI niż ogólny chatbot dostępny dla wszystkich.

Asystent wiedzy oparty na RAG najpierw wyszukuje materiał, a następnie przekazuje jego wybrane fragmenty modelowi do przygotowania odpowiedzi. Nie należy utożsamiać tego z trenowaniem modelu na wszystkich plikach firmy. Dokumentacja architektury RAG Microsoft rozdziela przygotowanie danych, wyszukiwanie i ocenę rozwiązania. Każdy z tych etapów wymaga osobnej decyzji projektowej.

Zacznij od właściciela dokumentu

Wskaż ograniczony zbiór, na przykład zatwierdzone instrukcje obsługi jednego produktu. Każdy dokument powinien mieć właściciela, wersję i informację o obowiązywaniu. Jeżeli źródło jest nieaktualne, poprawnie działające wyszukiwanie nadal może dostarczyć złą podstawę odpowiedzi.

Ustal też, co nastąpi po zmianie lub usunięciu pliku. Potrzebny jest proces aktualizacji indeksu oraz rozpoznawania wycofanych wersji. Samo ponowne wgranie folderu od czasu do czasu nie wyjaśnia, jak długo użytkownicy mogą otrzymywać odpowiedzi ze starej procedury.

Uprawnienia muszą działać przed odpowiedzią

Asystent nie powinien widzieć dokumentu tylko dlatego, że technicznie znajduje się on w indeksie. Tożsamość użytkownika i aktualne reguły dostępu muszą ograniczać materiał przekazywany modelowi. Sprawdź również cytaty, podglądy, historię rozmowy i pamięć podręczną. Ograniczenie samego linku do pliku może pozostawić dostęp do jego treści w odpowiedzi.

Przykład testu: dwie osoby z różnymi uprawnieniami zadają to samo pytanie. System powinien poprawnie obsłużyć obie sytuacje, bez ujawnienia istnienia lub zawartości chronionego materiału tam, gdzie polityka firmy tego zabrania.

Nie wystarczy polecenie „nie ujawniaj danych” w instrukcji dla modelu. Egzekwowanie uprawnień jest zadaniem aplikacji. W razie potrzeby integrujemy asystenta z systemem tożsamości i źródłami danych, a zakres sprawdzamy podczas audytu bezpieczeństwa.

Sprawdź, co faktycznie zawiodło

Nie każda błędna odpowiedź oznacza zły model. Przyczyną może być brak właściwej procedury, nieczytelny skan, niewłaściwy fragment w wynikach albo sprzeczne źródła. Podziel ocenę na etapy, żeby poprawiać przyczynę, a nie przypadkowo zmieniać ustawienia całego systemu.

Diagnostyka asystenta wiedzy
ObserwacjaCo sprawdzićMożliwy następny krok
Brak odpowiedzi mimo istniejącej proceduryImport, dostęp i wyniki wyszukiwaniaPoprawa przygotowania dokumentu lub wyszukiwania
Prawidłowe źródło, błędny wniosekZgodność odpowiedzi z przywołanym fragmentemZmiana formatu odpowiedzi i test regresji
Dobra odpowiedź ze starego dokumentuWersjonowanie i czas aktualizacji indeksuWycofanie wersji i kontrola ponownego indeksowania
Odpowiedź na pytanie spoza wiedzyCzy system rozpoznaje brak podstawOdmowa odpowiedzi i skierowanie do człowieka

Zestaw testowy musi zawierać także odmowy

Przygotuj pytania proste, wieloznaczne, nieobsługiwane i wymagające dokumentów niedostępnych dla danej osoby. Dodaj pytania, w których poprawną odpowiedzią jest „nie mam wystarczającej podstawy”. Kryterium nie powinno premiować płynnej wypowiedzi bez źródła.

Oceniaj, czy wskazany dokument rzeczywiście uzasadnia treść, a nie tylko dotyczy podobnego tematu. Zapisz wersję modelu, instrukcji i danych. Po zmianie któregokolwiek elementu ponów reprezentatywne testy. To zalecany sposób pracy, nie deklaracja określonego poziomu skuteczności.

Prosty zakres pilotażu dla firmy z Nowego Sącza

  1. Jeden zespół użytkowników i jeden typ pytań.
  2. Zatwierdzony zbiór dokumentów z właścicielami.
  3. Wyszukiwanie ograniczone uprawnieniami i odpowiedź z odnośnikiem do źródła.
  4. Ocena poprawnych odpowiedzi, odmów i przypadków niedozwolonego dostępu.
  5. Procedura zgłoszenia błędu, aktualizacji wiedzy i wyłączenia funkcji.

To propozycja zakresu, a nie opis istniejącego wdrożenia u lokalnego klienta. Na początku warto pozostawić asystenta w trybie odczytu. Dodawanie operacji zmieniających dane jest osobnym etapem z innymi wymaganiami.

Jak przejść do realizacji

W improveIT projektujemy wyszukiwanie semantyczne i rozwiązania RAG, integrujemy je z aplikacjami oraz ustalamy model utrzymania. Sprawdź pełną ofertę dla Nowego Sącza i opisz zasób wiedzy, który chcesz uporządkować. Nie przesyłaj poufnych dokumentów w pierwszej wiadomości.

Jeśli najpierw potrzebujesz uzasadnienia biznesowego, przeczytaj o pilotażu AI w Krakowie. Jeżeli problem dotyczy przepisywania danych z dokumentów, przejdź do automatyzacji dla firm z Tarnowa.

Źródła i dokumentacja