Przejdź do treści

Niepewność odpowiedzi (Uncertainty)

Definicja

Niepewność odpowiedzi to informacja, że model albo system nie ma wystarczającej podstawy, aby dać pewną odpowiedź, albo że wynik wymaga dodatkowej weryfikacji.

Co to w zasadzie jest?

To ważny sygnał jakości. Model nie powinien zawsze brzmieć tak, jakby wszystko wiedział. W praktyce lepszy system potrafi pokazać, kiedy ma za mało danych, kiedy źródła są słabe albo kiedy pytanie jest niejasne.

Niepewność można pokazywać przez:

  • prośbę o doprecyzowanie,
  • wskazanie braków w danych,
  • podanie źródeł,
  • oznaczenie odpowiedzi jako wymagającej sprawdzenia.

Praktyczne zastosowania (konkretne scenariusze)

Scenariusz 1: Asystent odpowiada na pytanie spoza bazy wiedzy

  • Cel: nie tworzyć pewnej, ale błędnej odpowiedzi.
  • Wejście: pytanie użytkownika i ograniczona baza źródeł.
  • Kroki: ocena pokrycia -> wykrycie braku danych -> odpowiedź z zastrzeżeniem.
  • Rezultat: użytkownik wie, że potrzebna jest weryfikacja.
  • Zabezpieczenie: wymóg cytowania źródeł albo odmowa odpowiedzi bez podstawy.

Scenariusz 2: Wsparcie decyzji operacyjnej

  • Cel: nie dopuścić do zbyt pewnej rekomendacji bez danych.
  • Wejście: dane wejściowe, pytanie i polityka procesu.
  • Kroki: analiza -> oznaczenie niepewności -> przekazanie do człowieka.
  • Rezultat: decyzja nie opiera się wyłącznie na pewnym tonie modelu.
  • Zabezpieczenie: human-in-the-loop.

Scenariusz 3: Generowanie odpowiedzi do klienta

  • Cel: unikać odpowiedzi, które brzmią wiarygodnie, ale nie mają podstaw.
  • Wejście: pytanie klienta i dane ze źródeł firmowych.
  • Kroki: wyszukiwanie źródeł -> ocena pokrycia -> odpowiedź albo eskalacja.
  • Rezultat: mniej halucynacji i mniej obietnic bez pokrycia.
  • Zabezpieczenie: grounding i checklista jakości.

Typowe błędy i pułapki

  • Ukrywanie niepewności za płynnym stylem.
  • Traktowanie każdej odpowiedzi jako równie wiarygodnej.
  • Brak reguł, kiedy system ma odmówić albo poprosić o doprecyzowanie.
  • Mylenie pewności językowej z poprawnością.

Ryzyka i jak je ograniczać

Ryzyko 1: Halucynacje

  • Ryzyko: halucynacje.
  • Jak ograniczać: każ systemowi wskazywać brak podstaw i źródeł.

Ryzyko 2: Nadmierne zaufanie użytkownika

  • Ryzyko: nadmierne zaufanie użytkownika.
  • Jak ograniczać: pokazuj granice wiedzy modelu.

Ryzyko 3: Błędne decyzje

  • Ryzyko: błędne decyzje.
  • Jak ograniczać: eskaluj trudne przypadki do człowieka.

Ryzyko 4: Rozmyta odpowiedzialność

  • Ryzyko: rozmyta odpowiedzialność.
  • Jak ograniczać: wprowadź zasady, kiedy wynik nie może iść dalej bez weryfikacji.

Checklista „zanim użyjesz”

  • Czy system potrafi wskazać brak danych?
  • Czy odpowiedź ma źródła albo uzasadnienie?
  • Czy użytkownik widzi, kiedy wynik jest niepewny?
  • Czy są reguły eskalacji?
  • Czy mierzysz, kiedy model powinien odpowiedzieć „nie wiem”?

Diagram

flowchart LR
    A[Pytanie]
    B[Ocena podstaw odpowiedzi]
    C[Odpowiedź pewna]
    D[Odpowiedź niepewna]
    E[Weryfikacja albo eskalacja]
    A --> B --> C
    B --> D --> E

Diagram pokazuje, że system powinien odróżniać odpowiedzi dobrze ugruntowane od tych, które wymagają sprawdzenia.

Mapa powiązań

Powiązane hasła