Przewodnia i nadzorcza rola człowieka w AI Act oznacza, że systemy AI rozwija się i wykorzystuje jako narzędzia służące ludziom, szanujące godność ludzką i autonomię osobistą oraz działające w sposób, który może być odpowiednio kontrolowany i nadzorowany przez człowieka.

System AI wysokiego ryzyka należy projektować i rozwijać w taki sposób, aby człowiek mógł: 

  1. nadzorować jego funkcjonowanie, 
  2. zapewniać by jego wykorzystanie było zgodne z przeznaczeniem, oraz 
  3. zapewniać by skutki ich wykorzystania były uwzględniane w całym cyklu życia systemu. 

Aby to osiągnąć, przed oddaniem systemu do użytku, dostawca powinien określić odpowiednie środki związane z nadzorem ze strony człowieka. 

  • system powinien podlegać ograniczeniom operacyjnym, których sam nie może obejść,
  • system musi reagować na działania operatora,  
  • osoby odpowiedzialne za jego nadzór muszą posiadać wystarczające kompetencje, przeszkolenie i uprawnienia. 

Środki nadzoru

Środki nadzoru muszą być współmierne do (1) ryzyka, (2) poziomu autonomii i (3) kontekstu wykorzystywania danego systemu AI wysokiego ryzyka. 

Dostawca może zapewnić nadzór nad systemem wysokiego ryzyka na 2 sposoby: 

  • może samodzielnie wbudować środki nadzoru do systemu wysokiego ryzyka przed oddaniem go do użytku,
  • może też określić jakie środki nadzoru nadają się do wdrożenia przez podmiot stosujący system wysokiego ryzyka – w takim wypadku to podmiot stosujący będzie zobowiązany wbudować środek nadzoru zanim rozpocznie korzystanie z systemu. 

Osoby sprawujące nadzór

Aby zapewnić wystarczający nadzór ze strony człowieka, system AI wysokiego ryzyka należy udostępnić podmiotowi stosującemu w taki sposób, aby umożliwić osobom, którym powierzono sprawowanie nadzoru:

  1. zrozumienie możliwości i ograniczeń systemu, 
  2. monitorowanie jego działania, w tym wykrywania anomalii, nieprawidłowego funkcjonowania i nieoczekiwanych wyników działania oraz zaradzeniu im w przypadku ich wystąpienia,
  3. pozostawanie świadomym potencjalnej tendencji do automatycznego polegania lub nadmiernego polegania na wyniku wytworzonym przez system („błąd automatyzacji”), w szczególności w przypadku systemów wykorzystywanych do udzielania informacji / zaleceń na potrzeby decyzji podejmowanych przez człowieka,
  4. prawidłową interpretację wyniku systemu, biorąc pod uwagę m.in. dostępne narzędzia i metody interpretacji,
  5. podjęcie decyzji, w każdej konkretnej sytuacji, o niekorzystaniu z systemu lub w inny sposób zignorowanie, unieważnienie lub odwrócenie wyniku systemu,
  6. ingerowanie w działanie systemu lub przerwanie działania systemu za pomocą przycisku „stop” lub podobnej procedury, która pozwala na zatrzymanie systemu w stanie bezpiecznym.

Potrzebujesz wsparcia przy wdrożeniu AI Act w Twojej organizacji? Zapraszamy do kontaktu!

Aleksander Zieliński, radca prawny, manager: a.zielinski@dsk-kancelaria.pl

DSK AI Act Weekly #10