Blog

Firmowy asystent AI: najpierw uprawnienia, potem kolejne dokumenty

Firmowy asystent AI: najpierw uprawnienia, potem kolejne dokumenty

Jak zaprojektować ograniczony pilotaż asystenta na zatwierdzonej wiedzy i sprawdzić także pytania, na które nie powinien odpowiadać.

Pracownik pyta firmowego asystenta o umowę z klientem. Odpowiedź jest poprawna, płynna i oparta na prawdziwym dokumencie. Nadal może oznaczać poważny błąd, jeśli ta osoba nigdy nie miała prawa czytać umowy.

Przydatny asystent potrzebuje odpowiedniej wiedzy i jasno określonej granicy dostępu. Dodawanie dokumentów nie zapewnia automatycznie żadnej z tych rzeczy. Zacznij od jednej grupy użytkowników i jednego zadania, na przykład wyszukiwania zatwierdzonych procedur operacyjnych. Dopiero później rozważ podłączenie szerszego archiwum.

Ustal, co asystent może robić

Oddziel odpowiadanie na pytania od wykonywania działań. Pilotaż tylko do odczytu ma mniejszy zakres operacyjny niż asystent zmieniający dane klientów lub wysyłający wiadomości. Jeśli później dodasz działania, każde wymaga osobnych uprawnień, walidacji i zasad potwierdzania.

Wybierz dokumenty z określonym właścicielem i rozpoznawalną aktualną wersją. Ustal, jak poprawki, wycofanie dokumentu i zmiany dostępu trafiają do asystenta. Procedura poprawna w dniu importu może wprowadzać w błąd po zastąpieniu oryginału.

Sprawdzaj dostęp, zanim informacja trafi do modelu

RAG, czyli generowanie odpowiedzi wspomagane wyszukiwaniem, odnajduje materiał i przekazuje wybrane fragmenty modelowi językowemu. Wyszukiwanie może znaleźć trafny tekst, ale aplikacja musi dodatkowo egzekwować uprawnienia użytkownika. Na podstawie uwierzytelnionej tożsamości i aktualnych reguł wyklucz niedozwolone materiały, zanim trafią do kontekstu modelu.

Polecenie „nie ujawniaj poufnych informacji” nie wystarcza do zaprojektowania kontroli dostępu. Ta sama granica musi obejmować zapisane rozmowy, wyniki w pamięci podręcznej i dzienniki diagnostyczne. Wspólna pamięć podręczna ignorująca uprawnienia może ominąć poprawnie filtrowane wyszukiwanie dokumentów.

Odpowiedź zgodna z uprawnieniami; Tożsamość; Filtr dostępu; Dozwolona treść; Odpowiedź / odmowa
Niedozwolone treści trzeba wykluczyć przed zbudowaniem kontekstu modelu. Schemat przedstawia uproszczony przepływ kontroli.

Oceniaj także poprawność odmowy

Przygotuj reprezentatywne pytania i oczekiwane wyniki sprawdzone przez właściciela dokumentów. Uwzględnij pytanie z jednoznaczną odpowiedzią w materiale, brak potrzebnej informacji, nieaktualną procedurę oraz prośbę o zastrzeżony dokument innego zespołu. Przypadki dostępu sprawdzaj przy użyciu różnych tożsamości testowych.

Osobno oceniaj oparcie odpowiedzi w materiale, kompletność i zasadność odmowy. Płynna odpowiedź może oblać test uprawnień, a ostrożna odmowa może być prawidłowym wynikiem. Zapisuj wersje wykorzystanych dokumentów, żeby później można było wyjaśnić zmiany jakości.

Jeżeli zatwierdzony materiał nie wystarcza do odpowiedzi, asystent powinien wskazać brakującą informację i odpowiedni kolejny krok.

Dokument jest danymi wejściowymi, a nie zgodą na polecenia

Dokument może zawierać mylące instrukcje skierowane do asystenta. Wyszukany tekst nie powinien zmieniać reguł systemowych ani przyznawać dostępu do narzędzi. Ogranicz dostępne działania i sprawdzaj ich parametry poza modelem. W pilotażu tylko do odczytu nie udostępniaj narzędzi wykonujących zapis.

Ustal, jakie dane rozmów są przechowywane, kto może je przeglądać i jak poszczególni dostawcy obsługują treści wrażliwe. Hosting lokalny zmienia obowiązki utrzymaniowe, ale sam nie rozwiązuje kontroli dostępu ani jakości danych. Sprawdź rzeczywistą konfigurację i umowę, zamiast wnioskować o prywatności z nazwy sposobu wdrożenia.

Uwzględnij w przeglądzie także interfejs zarządzania tożsamością. Osobny poradnik kontroli bezpieczeństwa konsoli administratora w języku angielskim dotyczy panelu działającego obok systemu logowania. Sprawdzenie samego asystenta pozostawia tę sąsiednią powierzchnię poza oceną.

Rozszerzaj zakres po sprawdzeniu granic

Porównaj pilotaż z dotychczasowym sposobem znajdowania odpowiedzi. Dla tego samego zadania zmierz czas i poprawność, uwzględniając weryfikację oraz poprawki. Rejestruj też odpowiedzi bez oparcia w materiale i naruszenia uprawnień. Zbiór dokumentów rozszerzaj wtedy, gdy zespół umie wyjaśniać błędy, aktualizować treści i utrzymywać reguły dostępu. Mniejszy asystent o przewidywalnych ograniczeniach łatwiej zdobywa zaufanie w codziennej pracy.

Źródła i dokumentacja