Green AI - energooszczędna sztuczna inteligencja

Rozwój konwencjonalnej sztucznej inteligencji wymaga mocy obliczeniowej - i to nie byle jakiej! Podstawowy poziom mocy obliczeniowej potrzebnej do pracy nad AI podwaja się co kilka miesięcy, dziś osiągając aż 300 000 razy tyle, ile potrzebowaliśmy w 2012 roku. Przyczyniło się to do wielu przełomowych odkryć i sukcesów w branży AI. Ale jak się okazuje, niesie ze sobą również bardzo wysokie koszty ekologiczne. 

Badania z MIT wykazały, że wytrenowanie 1 modelu sztucznej inteligencji przekłada się na wytworzenie 284 ton dwutlenku węgla, co odpowiada 5-krotnej wartości emisji przeciętnego samochodu w całym swoim okresie eksploatacji.

Aby temu przeciwdziałać, naukowcy z Allen Institute for Artificial Intelligence, Carnegie Mellon University i University of Washington (Roy Schwartz, Jesse Dodge, Noah A. Smith, Oren Etzioni) opublikowali pracę naukową, w której opowiadają się za intensyfikacją badań nad zieloną sztuczną inteligencją lub sztuczną inteligencją, która byłaby przyjazna dla środowiska. Tym samym stałaby się również tańsza i bardziej przystępna. 

Wspólny punkt odniesienia

W założeniu pracy naukowej wydajność stałaby się bardziej powszechnym kryterium oceny dokumentów akademickich dotyczących sztucznej inteligencji, jak i związane z nią środki i wydatki. Naukowcy wzywają do ustalenia jakiegoś podstawowego poziomu odniesienia. Taki poziom mógłby być stale podnoszony przez następnych naukowców.

Termin "zielona sztuczna inteligencja" odnosi się do badań nad sztuczną inteligencją, które przynoszą nowatorskie wyniki bez zwiększania kosztów obliczeniowych lub poprzez ich redukcję" - Napisali współautorzy.

Według założenia, prace naukowe musiałyby pokazywać dokładność, jako funkcję kosztów obliczeniowych i wielkości zestawu treningowego, zapewniając punkt odniesienia dla bardziej wydajnych badań naukowych w przyszłości.

Naukowcy zwracają uwagę na rosnącą złożoność najnowocześniejszych modeli sztucznej inteligencji, począwszy od modelu do przetwarzania języka naturalnego BERT firmy Google. BERT został przeszkolony na zestawie danych składających się z 3 miliardów elementów słownych z 64 jednostkami przetwarzającymi tensor - zbudowanymi na zamówienie układami akceleratora sztucznej inteligencji. Trwało to 4 dni. 

Najlepiej działający model generujący tekst w OpenAI, GPT-2-XL, zjadł 40 miliardów słów. Stworzony przez firmę DeepMind model AlphaGo, który pokonał najlepszego gracza Go na świecie, jest jeszcze bardziej uzależniony od potężnych komputerów w zakresie szkolenia i działania: AlphaGo potrzebowało 1 920 procesorów głównych i 280 procesorów graficznych, aby zagrać w jedną grę Go, co kosztowało ponad 1000 dolarów za godzinę.

Wspólna jednostka

Ilość czasu potrzebna do wygenerowania wyników - suma czasu spędzonego na przetwarzaniu pojedynczej próbki, kompilacji zestawu danych szkoleniowych i przeprowadzaniu eksperymentów - jest jedną z metod pomiaru efektywności zaproponowanej przez naukowców. Badanie proponuje operacje zmiennoprzecinkowe (ang. floating point operations - FPO) jako potencjalną wartość metryczną, która stanowi oszacowanie wysokości kosztów ogólnych wykonywanych w procesie obliczeniowym. 

Wskaźnik FPO jest niedoskonały, ponieważ ignoruje czynniki takie jak zużycie pamięci i implementacje modeli, ale bezpośrednio oblicza ilość pracy wykonanej przez uruchomione maszyny podczas wykonywania konkretnych instancji modeli, a tym samym odpowiada ilości zużywanej energii. Jako dodatkowy bonus, nie dyskryminuje na podstawie używanego sprzętu, na którym uruchamiane są modele, jest silnie skorelowany z czasem pracy modeli i uwzględnia ilość pracy wykonanej na każdym kroku czasowym.

Naukowcy przyznali, że samo FPO nie wystarczy, aby wspierać rozwój prawdziwie zielonej sztucznej inteligencji. Dlatego też zachęcają innych badaczy do zgłaszania krzywych budżetowych/dokładności zaobserwowanych podczas szkolenia z zakresu modelowania, co według nich pozwoli deweloperom podejmować mądrzejsze decyzje dotyczące wyboru modelu i strategii. 

Ponadto opowiadają się oni za tym, aby skuteczność stanowiła oficjalny wkład w duże konferencje dotyczące sztucznej inteligencji i popierają dalsze publiczne udostępnianie wstępnie przeszkolonych modeli w celu zaoszczędzenia innym kosztów ich przekwalifikowania.

Wspólna przyszłość

Naukowcy zwrócili uwagę że podczas opracowywania nowego modelu, duża część procesu badawczego obejmuje szkolenie wielu wariantów modelowych na zestawie szkoleniowym i wnioskowanie na małym zestawie rozwojowym. W takim otoczeniu bardziej efektywne procedury szkoleniowe mogą prowadzić do większych oszczędności, podczas gdy w środowisku produkcyjnym bardziej efektywne wnioskowanie może być ważniejsze.

"Opowiadamy się za holistycznym spojrzeniem na oszczędności obliczeniowe, które nie poświęcają się w niektórych obszarach na rzecz postępu w innych... Postrzegamy zieloną sztuczną inteligencję jako cenną możliwość... Chcielibyśmy ją rozpowszechniać, podkreślając jej korzyści i opowiadając się za standaryzacją miary efektywności".