Sztuczna inteligencja na wojnie

W mediach słychać o amerykańskich bezzałogowcach nad Pakistanem. Eksperci snują przerażające wizje rojów robotów-zabójców nad miastami. Pojawiają się historie o coraz bardziej rozwiniętych, coraz bardziej samodzielnych systemach. Czasem potykamy się o robota sprzątającego Roomba – jawny dowód, że wróg już jest w naszych domach! Niektórzy naukowcy wieszcząc apokalipsę masowo podpisują otwarte listy nawołujące do ograniczenia prac nad SI, zwłaszcza w kontekście w pełni autonomicznych systemów.
Tyle tylko, że z punktu widzenia badań nad sztuczną inteligencją ludzie obawiają się niekoniecznie tego, co jest w całej sprawie największym zagrożeniem. Owszem, trudno zaprzeczyć, że zbudowanie całkowicie samodzielnej i uzbrojonej jednostki zdecydowanie nie jest dobrym pomysłem. Ale systemy autonomiczne i półautonomiczne już teraz powodują problemy. Nie z powodu buntu maszyny, największym kłopotem jest, że robią dokładnie to, do czego je zaprojektowano.

Robot bojowy jawi się w wyobraźni przeciętnego człowieka jako uzbrojony po czubki skrzydeł bezzałogowiec, przeczesujący przestrzeń powietrzną państwa uznanego za łaknące demokracji. Taka maszyna istotnie jest groźna. Ataki niezaprzeczalnie powodują straty w cywilach i miejscami ocierają się o zbrodnie wojenne. Tyle, że kiedy odpalany jest zabójczy ładunek bezzałogowy samolot nie jest systemem autonomicznym. Spust naciska pilot-specjalista obserwujący ekrany w dalekiej Nevadzie. W tym sensie latające wojskowe roboty niewiele się różnią od faktycznego samolotu z jak najbardziej ludzkim pilotem w środku. Bezzałogowce wyposażono w systemy samodzielnego działania, ale decyzja o użyciu broni pozostaje w rękach człowieka.
Systemy naprowadzania amerykańskich krążowników rakietowych są automatyczne, jednak kontrola uzbrojenia spoczywa w rękach człowieka. Autonomiczny samochód jest zdolny do samodzielnej jazdy, ale zawsze musi być nadzorowany przez kierowcę. System śledzenia rakiet przeciwnika samodzielnie nie odpala pocisków z głowicami nuklearnymi. W pętli decyzyjnej zawsze zakładana jest obecność człowieka. Istota ludzka ma być w stanie zobaczyć dane w kontekście określonej sytuacji.

To człowiek podejmuje ostateczną decyzję: kręci kierownicą, przerywa automatyczny program samochodu, wydaje rozkaz odpalenia broni. Oznacza to, że powodowane przez maszyny wypadki, a nawet ataki, nie wynikają z samych systemów sztucznej inteligencji. A przynajmniej nie do końca. Maszyny są stosunkowo głupie. Nie jakoś przerażająco, ale są po prostu uwięzione w zaprogramowanych modelach, czasami nawet bardzo rozbudowanych. I jeśli rzeczywistość się w te założenia wpasuje, radzą sobie świetnie. Świetnym przykładem jest program AlphaGo, któremu udało się pokonać Lee Sedola mistrza świata w go.
Gorzej jeśli rzeczywistość nie jest łatwo opisywalna. A to zdarza się na ogół, bo różnie bywa z rozpoznaniem kontekstu sytuacji. Jeżeli zaprogramujemy system wizyjny na poszukiwanie broni, oznaczy karabinek-zabawkę w rękach ośmiolatka dokładnie w ten sam sposób, co prawdziwego kałasznikowa. I nie jest to błąd. Ostatecznie źródłem informacji jest obraz, a replika AK może wyglądać dla maszyny jak prawdziwy karabinek.
System analizy metadanych pobranych z połączeń realizowanych przez stacje bazowe telefonii komórkowej w Pakistanie, pechowo nazwany Skynet, wygenerował listę osób, zaskakująco mobilnych i rzeczywiście bywających w kontakcie z członkami organizacji terrorystycznej. Kłopot w tym, że wiele z nich było dziennikarzami, a nie kurierami zamachowców. To nie błąd systemu. Skynet miał tylko wychwytywać telefony komórkowe, które często się przemieszczają po kraju i lokują się w pobliżu wykrytych baz terrorystów. Pechowo jednak dziennikarze również pasowali do tego opisu.

Czy takie działanie systemów może doprowadzić do katastrofy? Nie powinno, ale zdarza się, że jest inaczej. Niestety, ludzie bardzo często nie rozumieją maszyn. W gruncie rzeczy umysł człowieka analizuje rzeczywistość w sposób uproszczony. Niewiele osób zastanawia się, jak dokładnie działa silnik samochodu. Oczekują prostej reakcji: naciśnięcie pedału ma sprawić, że pojazd przyspieszy, naciśnięcie spustu powinno doprowadzić do oddania strzału.
Systemy techniczne jawią się dla laików jako czarne skrzynki z przyciskiem z jednej strony i efektem z drugiej. Doświadczony kierowca rozumie narowy swojego samochodu. Dobry strzelec wie, jak interpretować zachowanie uzbrojenia. Ale wymaga to zrozumienia działania urządzeń. Podobnie jest z zaawansowanymi systemami sztucznej inteligencji. Kłopot w tym, że SI w porównaniu z silnikiem spalinowym lub bronią strzelecką są o rzędy wielkości bardziej złożone. Dużo trudniej je zrozumieć, więc na ogół w ludzkich głowach pozostaje schemat czarnego pudełka. A to, kiedy zadziała kilka razy w pożądany sposób, łatwo przeistacza się w nieomylną wyrocznię.
Ludzie są leniwi. Gdy coś działa jak trzeba, to nie odczuwają potrzeby weryfikacji całego procesu. Czarne pudełko po prostu rozwiązuje problemy. W siłach zbrojnych takie podejście jest bezpieczniejsze. O wiele łatwiej obronić przed przełożonymi rozkaz podążający za wynikiem działania systemu komputerowego, niż decyzję która go kontestowała. Ludzie nie sprawdzają analiz dokonywanych przez maszyny lub sprawdzają jedynie pobieżnie. Ale to nie wszystko.

Często ludzie interpretują efekt działania systemu inaczej niż zamierzono. Znanych jest wiele przykładów. Anegdotyczne są przypadki, kiedy system nawigacji samochodowej sprowadził kierowców na manowce. W 2014 i 2018 pechowcy zjechali z tych samych schodów w San Francisco. W 2012 w Australii urządzenie skierowało samochód do oceanu. Kierowcy przecież widzieli, gdzie jadą – weryfikacja wymagała spoglądania przez szybę na drogę. Co prowadząc samochód i tak się przecież robi. Można oczywiście powiedzieć, że tylko osoby wyjątkowo rozkojarzone mogą popełnić taki błąd i nigdy się on nie zdarzy wyszkolonym zawodowcom. Otóż nie.
Wykorzystanie wspomnianego Skynetu spowodowało wiele niepotrzebnej śmierci. Dlaczego? Użyto go bezpośrednio do tworzenia list terrorystów. Decydenci CIA wyciągnęli daleko idące wnioski z wyników analiz lub – co gorsza – uznali że są gotowi na przypadkowe ofiary. Wszystko w imię eliminacji faktycznych terrorystów. W obu przypadkach wyniki podawane przez Skynet zostały potraktowane odmiennie, niż twierdził system.
Innym przypadkiem jest tragiczny lot 610 indonezyjskich linii Lion Air, w którym system MCAS (Maneuvering Characteristics Augmentation System) odpowiadający m.in. za automatyczne wyprowadzanie samolotu z przeciągnięcia, wprowadził maszynę w nurkowanie. W wyniku wadliwego działania sensorów Boeing 737 MAX rozbił się, powodując śmierć 190 osób. Był to niewątpliwie ewidentny błąd systemu. Ujawnił jednak, że piloci w ogóle nie zostali przeszkoleni w wyłączaniu MCAS i przechodzeniu w tryb ręczny.

Dobrego przykładu dostarcza również o wiele starszy przypadek z 1983, kiedy Związek Radziecki używał systemu RJaN (Rakietno-Jadiernoje Napadienie). Miał przewidywać możliwy atak przeciwnika, analizując dane dostarczane przez wywiad. Sercem tej ostatniej miała być ocena lokalnej przewagi NATO jako znak nadchodzącego ciosu. Problemem w tej układance był właśnie mechanizm pozyskiwania danych – czyli Komitet Bezpieczeństwa Państwowego (KGB).
W 1983 Amerykanom udało zrobić się wiele, aby RJaN zaniepokoić – od przemówienia Ronalda Reagana nazywającego ZSRR imperium zła przez ćwiczenia w pobliżu bazy radzieckiej Floty Pacyfiku, aż po inwazję Grenady. Zatem wyniki jakie system prezentował były ze wszech miar niepożądane.
W dodatku od listopada 1982 ZSRR władał były szef KGB Jurij W. Andropow. Jako osoba zajęta żądał szybkich i dokładnych raportów o wszelkich ruchach NATO. Funkcjonariusze wywiadu przyciśnięci krótkimi terminami i gigantyczną presją na rezultaty bywali skłonni do pewnych przesad w imię zadowolenia centrali. A to jeszcze bardziej utwierdzało KGB w przekonaniu że atak jest możliwy.
A kiedy ZSRR było już niemal pewne, że wojna wybuchnie lada dzień, we wrześniu 1983 rozpoczęły się manewry Able Archer 83, gigantyczne gry wojenne NATO w zachodniej Europie. To, że w ogóle jako ludzkość przetrwaliśmy zawdzięczamy, że ostateczne decyzje po obu stronach były podejmowane przez właściwych ludzi.
Casus RJaN jest naturalnie stary i na szczęście do katastrofy nie doprowadził, ale dobrze ilustruje tezę. System nie zadziałał źle: miał obliczać współczynnik lokalnej przewagi i to robił. Ale kombinacja złej interpretacji i w pewien sposób zaburzonych danych wejściowych wygenerowała kryzys. Słowem, po raz kolejny zawiódł czynnik ludzki. W zasadzie – jak zwykle.

Podsumowując, jeszcze przez jakiś czas ludzkości nie grozi prawdziwy bunt maszyn. I to jest dobra wiadomość. Zła natomiast jest taka, że do prawdziwie apokaliptycznych scenariuszy wcale nie potrzeba zabójczych robotów. Wystarczy, że ich działania są dla ludzi niezrozumiałe: człowiek nie mówi ich językiem, często nie potrafi właściwie interpretować wyników przedstawianych informacji i analiz. Dodatkowo zwykły śmiertelnik nie ma intuicji, kiedy powinien zignorować sugestie systemów. Z drugiej strony używamy ich do automatyzacji działań już praktycznie wszędzie. Tyle, że często nie wiadomo, jak naprawdę funkcjonują. Ludzie ufają, że po naciśnięciu przycisku czarna skrzynka da zamierzony efekt. To przyzwyczajenie może być największym zagrożeniem ludzkości.