Definicja
Ryzyko dotyczy także odpowiedzi napisanych płynnie i przekonująco.
Halucynacja modelu AI to sytuacja, w której model generuje przekonującą odpowiedź bez wystarczającej podstawy albo podaje informację niezgodną ze źródłem. Może wymyślić fakt, błędnie połączyć dane, przywołać nieistniejący dokument lub zbyt pewnie zinterpretować niejednoznaczny tekst. Ryzyka nie usuwa sam wybór większego modelu. Ogranicza się je przez kontrolowany kontekst, RAG, walidację regułami, wskazywanie źródeł, testy oraz zaprojektowany udział człowieka. Im większy wpływ wyniku na klienta, pracownika lub finanse, tym mocniejsza powinna być weryfikacja. Sprawdź zasady bezpieczeństwa rozwiązań AI.