Sztuczna inteligencja uczy się latać i walczyć

DARPA poinformowała, że przekroczono połowę prac fazy pierwszej programu ACE, i że prowadzono symulowane walki powietrzne w ramach programu pod nazwą Scrimmage 1 w Johns Hopkins Applied Phisics Laboratory (APL – Laboratorium Fizyki Stosowanej). Korzystając z symulowanego środowiska opracowanego przez APL, system Scrimmage 1 został wykorzystany do przeprowadzenia walki 2 na 1. Dwa samoloty F-16 reprezentowały siły własne, a przeciwnikiem był pojedynczy wrogi samolot nieujawnionego typu.

Jak informuje DARPA, ambicją twórców systemu ACE jest stworzenie pewnego w działaniu, skalowalnego, autonomicznego systemu do walki powietrznej opartego na sztucznej inteligencji o poziomie inteligencji ludzkiej, który poprawiłby poziom współpracy między człowiekiem i maszyną.

Przeprowadzona w lutym br. próba manewrowej walki powietrznej była pierwsza od czasu prób pod kryptonimem AlphaDogfight Trials, które miały miejsce w sierpniu ub.r. Z tej okazji zorganizowano rywalizację ośmiu zespołów, której celem było opracowanie systemu opartego na sztucznej inteligencji do symulowania manewrowej walki powietrznej dla samolotów F-16 w spotkaniu 1 na 1. Zwycięski zespól, korzystając ze swojego algorytmu opartego na sztucznej inteligencji stoczył później pięć walk powietrznych z doświadczonym pilotem F-16, który zasiadł za sterami symulatora. Wynik starcia… 5:0 na korzyść sztucznej inteligencji. Jest to doskonały przykład jaki potencjał tkwi w tego typu rozwiązaniach.

Jedną z kilku firm tworzących system sztucznej inteligencji dla programu ACE jest firma Heron Systems. To właśnie opracowany przez nią system, nazywany przez pilotów Falco zwyciężył walki powietrzne  z pilotami USAF i innymi systemami sztucznej inteligencji w ramach konkursu AlphaDogfight Trials.

Falco uczy się walki powietrznej tak jak człowiek, poprzez pierwsze zapoznanie jak steruje się samolotem, a później jakie manewry wykonywać w celu przechwycenia innego wirtualnego samolotu. Inżynierowie Heron Systems wykorzystali w tym celu architekturę szkolenia Proximal Policy Optimization – chyba najskuteczniejszy algorytm „wzmocnionego uczenia się” – do uczenia maszynowego, a także wirtualną sieć rywalizujących ze sobą pilotów symulowanych przez sztuczną inteligencję.

Dla celów AlphaDogfight Falco szkolił się w prowadzeniu walk powietrznych przez ponad pięć tygodni w 100-milisekundowych blokach czasu, wykonując cztery miliardy kroków. Proces był porównywalny z 31-letnim szkoleniem pilota w podstawach walki powietrznej (Basic Fighter Maneuvers – BFM).

Symulacja walki powietrznej samolotów sterowanych przez człowieka i sztuczną inteligencję w ramach programu AlphaDogfight. Na pięć walk, człowiek nie wygrał ani jednej / Zdjęcie: DARPA

W porównaniu z AlphaDogfight Trials, prowadzonych tylko z wykorzystaniem broni lufowej, do Scrimmage 1 wprowadzono nowe symulowane rodzaje broni jak pociski rakietowe dalekiego zasięgu.

Naszym głównym celem pod koniec pierwszej fazy jest przejście algorytmów sztucznej inteligencji od symulacji do rzeczywistości. Przygotowujemy się do prób rzeczywistych lotów nieco mniejszymi samolotami, które zaplanowaliśmy na koniec 2021 – mówi płk. Dan Animal Javorsek, szef programu w DARPA Strategic Technologies Office, wcześniej pilot doświadczalny USAF latający m.in. samolotami F-22. – Przeniesienie algorytmów sztucznej inteligencji do realnego świata będzie kluczową próbą programu. Wcześniejsze próby przechodzenia ze świata wirtualnego do rzeczywistego były obarczone niepewnością, ponieważ niektóre z zastosowanych rozwiązań zbyt zależne od cyfrowych artefaktów pochodzących z symulowanego środowiska.

Javorsek dodaje także, iż zwiększając liczbę opcji uzbrojenia i wprowadzając większą liczbę samolotów zwiększyła się dynamika procesów, czego nie można było zrobić podczas AlphaDogfight Trials. Wprowadzenie tych nowych elementów było ważnym krokiem w stronę budowania poziomu ufności algorytmu odkąd pozwalają nam one ocenić jak procesy sztucznej inteligencji realizują ograniczenia użycia uzbrojenia w celu uniknięcia strat własnych. Jest to jeden z kluczowych elementów jeśli prowadzimy działania z bronią ofensywną w dynamicznym i skomplikowanym środowisku obejmującym pilotowane samoloty bojowe i także zapewnić możliwość podniesienia stopnia skomplikowania i zgrania manewrowania dwóch samolotów w odpowiedzi na zachowanie samolotu przeciwnika.

Co więcej, ACE zademonstrowało zaawansowane oprogramowanie do walki manewrowej oparte na sztucznej inteligencji, które może być wykorzystane zarówno podczas starcia z przeciwnikiem znajdującym się w zasięgu wzroku, jak i poza nim, ze scenariuszami użycia wielu samolotów łącznie z symulowanym uzbrojeniem, razem z rzeczywistym samolotem odrzutowym wyposażonym w układy pomiaru przez sztuczną inteligencję parametrów fizjologicznych pilota i poziom zaufania dla systemów sztucznej inteligencji.

Zobrazowanie symulowanej walki dwóch samolotów z jednym przeciwnikiem prowadzone w ramach programu ACE / Zdjęcie: DARPA

W rozpoczętym w ub.r. programie ACE, DARPA podkreśla istotne znaczenie budowy zaufania pilota do systemów sztucznej inteligencji, która przejęłaby bieżące manewrowanie samolotem, a człowiek mógłby się zająć nadrzędnymi zadaniami związanymi z prowadzeniem działań bojowych.

Proces „pozyskiwania danych o poziomie zaufania” obejmuje serię prób w locie wykonywanych przez pilotów doświadczalnych zasiadających za sterami samolotu L-29 Delfin, należącego do Laboratorium Wydajności Operatora Politechniki stanu Iowa. W kabinie tego samolotu zamontowano szereg czujników pozwalających mierzyć fizjologiczne reakcje pilota, które dają informacje czy ufa on systemowi sztucznej inteligencji, czy nie. W lotach doświadczalnych, w przedniej kabinie Delfina siedział pilot, który realizował sterowanie samolotem w oparciu o decyzje wypracowane przez system sztucznej inteligencji. Można więc powiedzieć, że samolot był pilotowany przez sztuczną inteligencję za pośrednictwem pilota, którego reakcje były w danym locie oceniane.

Faza druga programu ACE, której realizację zaplanowano jeszcze w tym roku, będzie obejmowała włączenie walki manewrowej dwóch rzeczywistych samolotów, zarówno z napędem śmigłowym jaki i odrzutowym. Celem tej fazy będzie ocena, czy algorytmy sztucznej inteligencji można przenieść ze świata wirtualnego do warunków rzeczywistego lotu.

Samolot L-29 Delfin wykorzystywany przez  Laboratorium Wydajności Operatora Politechniki stanu Iowa do prac badawczych nad zaufaniem pilotów do sztucznej inteligencji / Zdjęcie: DARPA

Ekran obrazujący w czasie rzeczywistym najważniejsze parametry lotu i działań pilota podczas prób nad zaufaniem pilotów do sztucznej inteligencji / Zdjęcie: DARPA

W międzyczasie firma Calspan rozpoczęła prace nad przebudową czterech szkolnych samolotów odrzutowych L-39 Albatros, montując na nich system automatycznego układu sterowania działającego w oparciu o sztuczną inteligencję. Będą one wykorzystane do prób w locie obejmujących rzeczywiste walki powietrzne, które zaplanowano na lata 2023 i 2024.

Za wyborem Albatrosa przeważyła prosta konstrukcja, łatwa w obsłudze technicznej. Zamiast układów sterowania fly-by-wire stosowanych w nowoczesnych samolotach, Albatros ma mechaniczny układ sterowania z układem popychaczy. Egzemplarze wykorzystywane w ACE zostały wyposażone w autopiloty (nazywane przez pilotów George) opracowane przez firmę Calspan, który może niezależnie sterować powierzchniami sterowymi.

Zastosowany w programie system automatycznego sterowania jest czymś więcej niż zwykłym autopilotem. Urządzenie opracowane przez Calspan wykorzystuje siłowniki do sterowania samolotem przy pomocy mechanicznych układów sterowania samolotu w pełnym zakresie ich wychyleń, a nie w formie niewielkich wychyleń ograniczając się do wykonania zakrętu, wznoszenia lub zniżania jak zwykłe autopiloty. Ten autopilot może w trybie automatycznym wykonywać figury akrobacji lotniczej

Jeden z samolotów L-39 Albatros wykorzystywanych w programie ACE / Zdjęcie: Calspan

W programie ACE interfejs łączący sztuczną inteligencję z autopilotem Calspan tłumaczy komendy takie jak kąt przechylenia i prędkość lotu na wychylenie drążka sterowego i dźwigni przepustnicy silnika aby uzyskać stan lotu żądany przez sztuczną inteligencję.

To tak jakby na fotelu pilota siedział robot wychylając drążek sterowy – mówi Brian Ernisse, inzynier Calspan i pilot doświadczalny.

Prace dostosowujące konstrukcję Albatrosa do sterowania przez sztuczną inteligencję prowadzone przez firmę Calspan / Zdjęcie: Calspan

Falco lub inny system sztucznej inteligencji zainstalowany w samolocie do podjęcia decyzji będzie potrzebował informacji w czasie rzeczywistym o aerodynamice, przyspieszeniach i danych o położeniu. Dla tego na pokładzie L-39 zostaną zamontowane nowoczesne prędkościomierze, czujniki kąta natarcia, pokładowy układ GPS i łącze danych z pełnym zakresem danych o otoczeniu. Podobnie jak d programie AlphaDogfight, sztuczna inteligencja będzie miała pełna informację o tym co robi samolot przeciwnika, włączając w to manewry i trajektorie lotu.

Człowiek-pilot uczy się przewidywać reakcję samolotu na podstawie doświadczenia z lotów różnymi typami samolotu, a także różnymi egzemplarzami samolotu tego samego typu. Falco nie musi zdobywać doświadczenia w sterowaniu L-39 lub współpracy z Georgem.

Inaczej niż ludzki odpowiednik, sztuczna inteligencja nie potrzebuje pilota instruktora, instrukcji użytkowania samolotu, czy nawet doświadczenia wyniesionego z wcześniejszych etapów szkolenia. Nie trzeba jej uczyć latania L-39. Potrzebuje jednak wielu danych o tym jak przebiega lot – pełnego modelu aerodynamicznego samolotu wraz z prędkościami dla poszczególnych stanów lotu, wartości przeciążeń, wielkości kąta natarcia oraz charakterystyk przeciągnięcia i korkociągu, a także charakterystyk stateczności i sterowności aby uzyskać z nich stosowna wiedzę. Dane tego typu są pozyskiwane przez pilotów doświadczalnych Calspan podczas serii lotów doświadczalnych.

Bloki elektroniki z systemem sztucznej inteligencji i autopilotem są zainstalowane w przedziale awioniki w nosowej części kadłuba oraz za kabiną załogi. Analogowe wyposażenie kabiny zostało zastąpione przez programowalne ekrany ciekłokrystaliczne o dużej przekątnej, które są także interfejsami pomiędzy pilotami i sztuczną inteligencją. Ekrany będą sprzęgnięte z wyświetlaczami nahełmowymi. Wyposażenie kabiny dostarczyła firma Soar Technologies.

W próbach walki powietrznej prowadzonej przez sztuczna inteligencję wezmą udział cztery samoloty L-39 Albatros / Zdjęcie: Calspan

Choć tematem badania jest sztuczna inteligencja, w próbach będą wykorzystywani również piloci doświadczalni. Będą oni zajmowali oba fotele w kabinie Albatrosa. W przedniej kabinie miejsce ma zająć oceniający system pilot doświadczalny z USAF lub US Navy posiadający doświadczenie w taktyce walki powietrznej. Do komunikowania się z systemem sztucznej inteligencji i autopilotem będzie wykorzystywał specjalnie do tego celu zaprojektowane wyświetlacze. Będzie zajmował się również zadaniami związanymi z zarządzaniem przestrzenią bitewną. Tylną kabinę będzie zajmował pilot doświadczony z Calspan. Będzie on pełnił rolę bezpiecznika z możliwością wyłączenia systemu sztucznej inteligencji. Jego głównym zadaniem będzie dbanie o to aby lot przebiegał w zakresie bezpiecznego użytkowania samolotu.

Obaj piloci mogą przywołać działanie sztucznej inteligencji przy pomocy przycisku na drążku. Jeśli pilotowi nie będzie odpowiadało to co robi sztuczna inteligencja może on nacisnąć ten przycisk i wstrzymać działanie systemu. Może wówczas manewrować samolotem samodzielnie doprowadzając go do żądanego stanu lotu. Po ponownym naciśnięciu przycisku system sztucznej inteligencji rozpocznie działanie od nowego stanu wyjściowego.

Nie określono jeszcze ostatecznie w jaki sposób będą prezentowane dane pochodzące od sztucznej inteligencji, czy będą to elementy graficzne, dźwiękowe, wibracje lub ich połączenie. Osobną kwestią jest jak dużo informacji należy przekazywać pilotowi, który może być skoncentrowany na innych zadaniach.

Największym wyzwaniem jest określenie granic uwagi jaką pilot może poświęcić na analizowanie dostarczanych informacji. Interfejs użytkownika będzie dawał pilotowi informacje o tym co samolot zrobi za chwilę. Pilot będzie więc wiedział jak sztuczna inteligencja zamierza manewrować samolotem w najbliższych kilku sekundach.

Gdy badania zakończą się potwierdzeniem możliwości systemów sztucznej inteligencji, DARPA planuje wykorzystać technologię takich systemów w pracach nad rozwojem bojowych bezzałogowców tzw. loyal wingman, takich jak Skyborg, które mają współpracować z bojowymi samolotami załogowymi. Mogłyby one przejąć zadania walki powietrznej z pewnym stopniem autonomiczności, a człowiek w samolocie pilotowanym mógłby skupić się na głównych celach prowadzonych działań bojowych.

Ostatecznie, badania nad zastosowaniem sztucznej inteligencji mogą doprowadzić do realizacji pomysłu zbudowania całkowicie autonomicznego bezzałogowca zdolnego do prowadzenia walk powietrznych, a także do atakowania celów naziemnych. Gdyby bezzałogowiec był w stanie realizować zadania samolotów załogowych, jego systemy sztucznej inteligencji mogłyby podejmować kluczowe decyzje szybciej i bardziej precyzyjnie, biorąc pod uwagę znacznie więcej informacji i analizując je znacznie szybciej niż człowiek, a to wszystko bez wpływu dekoncentracji spowodowanej chaosem prowadzonej walki. Takie same algorytmy mogłyby być wykorzystane w rojach współpracujących ze sobą bezzałogowców, które mogłyby współdziałać w celu maksymalizacji swojej skuteczności bojowej, podejmując decyzje znacznie szybciej niż mogą tego dokonać dowódcy formacja statków powietrznych pilotowanych przez ludzi.

Ta sama technologia może mieć zastosowanie także jako „wirtualny drugi pilot”. Nad takim systemem pracuje Laboratorium Badawcze Sił Powietrznych (Air Force Research Laboratory – AFRL) w ramach programu Zespół Możliwości Autonomicznych 3 (Autonomy Capability Team 3 – ACT3). W ten sposób rozwiązania opracowane przez ACE mogą znaleźć zastosowanie jako autonomiczne wsparcie samolotów załogowych.