Przewodnia i nadzorcza rola człowieka w AI Act oznacza, że systemy AI rozwija się i wykorzystuje jako narzędzia służące ludziom, szanujące godność ludzką i autonomię osobistą oraz działające w sposób, który może być odpowiednio kontrolowany i nadzorowany przez człowieka.
System AI wysokiego ryzyka należy projektować i rozwijać w taki sposób, aby człowiek mógł:
- nadzorować jego funkcjonowanie,
- zapewniać by jego wykorzystanie było zgodne z przeznaczeniem, oraz
- zapewniać by skutki ich wykorzystania były uwzględniane w całym cyklu życia systemu.
Aby to osiągnąć, przed oddaniem systemu do użytku, dostawca powinien określić odpowiednie środki związane z nadzorem ze strony człowieka.
- system powinien podlegać ograniczeniom operacyjnym, których sam nie może obejść,
- system musi reagować na działania operatora,
- osoby odpowiedzialne za jego nadzór muszą posiadać wystarczające kompetencje, przeszkolenie i uprawnienia.
Środki nadzoru
Środki nadzoru muszą być współmierne do (1) ryzyka, (2) poziomu autonomii i (3) kontekstu wykorzystywania danego systemu AI wysokiego ryzyka.
Dostawca może zapewnić nadzór nad systemem wysokiego ryzyka na 2 sposoby:
- może samodzielnie wbudować środki nadzoru do systemu wysokiego ryzyka przed oddaniem go do użytku,
- może też określić jakie środki nadzoru nadają się do wdrożenia przez podmiot stosujący system wysokiego ryzyka – w takim wypadku to podmiot stosujący będzie zobowiązany wbudować środek nadzoru zanim rozpocznie korzystanie z systemu.
Osoby sprawujące nadzór
Aby zapewnić wystarczający nadzór ze strony człowieka, system AI wysokiego ryzyka należy udostępnić podmiotowi stosującemu w taki sposób, aby umożliwić osobom, którym powierzono sprawowanie nadzoru:
- zrozumienie możliwości i ograniczeń systemu,
- monitorowanie jego działania, w tym wykrywania anomalii, nieprawidłowego funkcjonowania i nieoczekiwanych wyników działania oraz zaradzeniu im w przypadku ich wystąpienia,
- pozostawanie świadomym potencjalnej tendencji do automatycznego polegania lub nadmiernego polegania na wyniku wytworzonym przez system („błąd automatyzacji”), w szczególności w przypadku systemów wykorzystywanych do udzielania informacji / zaleceń na potrzeby decyzji podejmowanych przez człowieka,
- prawidłową interpretację wyniku systemu, biorąc pod uwagę m.in. dostępne narzędzia i metody interpretacji,
- podjęcie decyzji, w każdej konkretnej sytuacji, o niekorzystaniu z systemu lub w inny sposób zignorowanie, unieważnienie lub odwrócenie wyniku systemu,
- ingerowanie w działanie systemu lub przerwanie działania systemu za pomocą przycisku „stop” lub podobnej procedury, która pozwala na zatrzymanie systemu w stanie bezpiecznym.
Potrzebujesz wsparcia przy wdrożeniu AI Act w Twojej organizacji? Zapraszamy do kontaktu!
Aleksander Zieliński, radca prawny, manager: a.zielinski@dsk-kancelaria.pl