90% czołowych firm w USA inwestuje w rozwój narzędzi sztucznej inteligencji

90% czołowych firm w USA inwestuje w rozwój narzędzi sztucznej inteligencji. To stwarza wyzwania, zwłaszcza w kontekście rosnącej presji na skokowy wzrost wydajności chmury obliczeniowej. Jak rozwiązać problem przeciążenia środowisk cloud w 2024 roku, nie przyczyniając się do negatywnego wpływu na środowisko?

W 2023 roku technologia cloud stała się jeszcze bardziej powszechna. Dzisiaj jest już na tyle stabilna i bezpieczna, że przekonuje do siebie coraz więcej firm i instytucji publicznych. Chętnie przenoszą do niej swoje aplikacje i bazy danych - nawet te najbardziej krytyczne. Jeszcze kilka lat temu było to niewyobrażalne z obawy przed cyberatakami i wyciekami wrażliwych danych.

Drugim ważnym zjawiskiem w „świecie chmury” jest rozwój dużych algorytmów sztucznej inteligencji (LLM - Large Language Models). Stało się to możliwe m.in. dzięki zaawansowanym usługom i mocy obliczeniowej zapewnianych przez technologię chmurową.

Jednocześnie jesteśmy świadkami ciekawego i niebezpiecznego skutku tego dynamicznego rozwoju - skrajnego obciążenia centrów danych. Modele sztucznej inteligencji (AI) potrzebują do prawidłowego funkcjonowania olbrzymich przestrzeni dyskowych, a także mocy obliczeniowej i pamięci. A jak wiemy, model generatywnej AI w bardzo krótkim czasie zdobył 180 mln użytkowników i przetwarza 1,7 mld zapytań miesięcznie (dane z października 2023 r.). Dziś miliardy zapytań generatywnych do sztucznej inteligencji są przetwarzane każdego miesiąca, a 90% firm z listy Fortune 500 zgłasza rozwijanie rozwiązań sztucznej inteligencji. To z pewnością przyczynia się do przeciążeń.

Jak można rozwiązać problem przeciążenia środowisk cloud?

Oczywiście można założyć prosty przyrost mocy obliczeniowej poprzez dodawanie kolejnych serwerów i tworzenie nowych centrów danych. Jednak skalowalność tego procesu może dość szybko osiągnąć swoje granice. Chociażby ze względów klimatycznych. Już w 2020 roku centra danych konsumowały 2% energii w USA (US Department of Energy). Jednocześnie generują olbrzymie ilości ciepła i zużywają duże ilości wody. To duży kłopot wizerunkowy i finansowy, szczególnie dla firm, które deklarują w niedalekiej perspektywie neutralność klimatyczną i bardzo silne wsparcie inicjatyw ESG (Environmental, Social, Corporate Governance).

Spójrzmy zatem na bardziej wyrafinowane możliwości, które nie opierają się na prostym skalowaniu. Ciekawym, coraz bardziej popularnym rozwiązaniem jest zastosowanie hybrydowej architektury chmurowej, znanej również jako multi-cloud. Koncepcja zakłada, że rozwiązania od różnych dostawców chmury są w pewnych obszarach lepsze i bardziej efektywne od pozostałych. W efekcie w danej chmurze wybieramy to, co najlepsze, a mniej efektywne obszary zastępujemy lepszymi usługami od innego dostawcy. Na przykład wybieramy przechowywanie danych u jednej firmy, a przetwarzanie danych u drugiej. To na pewno wymaga większych nakładów na administrację i orkiestrację środowiska. Jednak na rynku są dostępne narzędzia do łatwego zastosowania w multi-cloud, dzięki którym można automatycznie zarządzać i orkiestrować swoje zasoby chmurowe.

Edge computing

Inne rozwiązanie to edge computing, czyli przetwarzanie danych jak najbliżej miejsc ich powstania i odbioru. Starsze modele obliczeniowe tradycyjnie przesyłały dane do przetworzenia do zdalnych centrów danych lub chmur. W przypadku edge computing dane są przetwarzane lokalnie, na urządzeniach znajdujących się na „krawędzi” sieci, takich jak: sensory IoT, aparaty przemysłowe, czytniki kodów kreskowych, urządzenia przenośne, smartfony lub inne urządzenia końcowe. Edge computing jest szczególnie przydatny w przypadku aplikacji, które generują duże ilości danych i wymagają szybkiego czasu reakcji, takich jak: samochody autonomiczne, systemy gier online czy strumieniowanie wideo na żywo. Dzięki edge computing takie aplikacje mogą przetwarzać część danych na miejscu, zamiast przesyłać je na przetworzenie do centrum danych lub chmury, co zazwyczaj jest procesem wolniejszym i może prowadzić do opóźnień, a ostatecznie przyczynia się do obciążenia środowiska chmurowego.

Data Center

Kolejne rozwiązanie to nowa generacja Data Center o całkowicie odmienionej architekturze, zoptymalizowanej pod znany już aktualnie sposób działania algorytmów AI. Ciekawym tego przykładem jest trwająca budowa w USA nowego centrum danych rozszerzająca infrastrukturę chmury Azure. Jej dostawca, biorąc pod uwagę aktualne obciążenie, przygotował innowacyjną wizję centrum danych. Zakładane innowacje to m.in.: poprawa łączności i przepustowości w celu szybkiego transportu i przetwarzania dużych ilości danych wymaganych przez AI i zapewnienie najkrótszej możliwej ścieżki pomiędzy obliczeniami i pamięcią, co jest kluczowe dla niektórych typów obliczeń AI.

Optymalizacja i automatyzacja algorytmów oraz modeli AI również pomaga w lepszym wykorzystaniu zasobów chmury. To staje się bardzo ważnym aspektem rozwoju analityki i sztucznej inteligencji. Środowisko chmurowe oferuje wiele narzędzi i usług, które mogą pomóc w tych procesach.

Automatyzacja - rozwiązania chmurowe oferują możliwość automatyzacji wielu zadań związanych z metodami AI. Obejmuje to: automatyzację treningu modeli, testowania, hiperparametryzacji i wdrażania.
Optymalizacja modeli AI - obejmuje narzędzia do tuningu hiperparametrów, optymalizacji modelu przy użyciu przycinania i kwantyzacji oraz narzędzia do monitorowania modelu w celu wykrycia i naprawy powszechnych problemów.
Akceleracja sprzętowa - niektóre środowiska chmury oferują specjalne skonfigurowane jednostki obliczeniowe, które przyspieszają obliczenia związane z AI. Należą do nich GPU lub jednostki przetwarzania tensorów (TPUs).

Komputer kwantowy

W dalszej perspektywie czasowej rewolucyjnym rozwiązaniem może okazać się komputer kwantowy, który wykorzystuje mechanikę kwantową na poziomie cząstek subatomowych, mając potencjał znacznie przyspieszyć rozwiązywanie problemów obliczeniowych w porównaniu z tradycyjnymi komputerami. Jednak obecnie ta technologia jest w fazie eksperymentalnej, a stworzenie skalowalnych i praktycznie użytecznych komputerów kwantowych nadal pozostaje wyzwaniem technicznym.

Powyższa diagnoza i przedstawione możliwe kierunki optymalizacji wynikają z realizowanych przez EY GDS Technology Consulting projektów. Ponieważ nasza oferta jest kompleksowa - od infrastruktury, poprzez różne środowiska cloud, po usługi w zakresie machine learning i artificial intelligence - mamy wiedzę, żeby ten złożony problem efektywnie rozwiązać. Zauważamy, że coraz więcej naszych pracowników jest zainteresowanych tym obszarem i chce się w nim rozwijać. Przygotowaliśmy dla nich wysokiej jakości programy szkoleniowe, które prezentują innowacyjne technologie, wnioski z przeprowadzonych projektów i ciekawe przykłady wdrożeń.

---

Artur Sawicki jest pasjonatem wpływu nowych technologii na biznes; jest ekspertem w szerokim zakresie oprogramowania biznesowego, technologii chmurowych, automatyzacji i zaawansowanej analizy danych. Pracuje jako European Data & Analytics and Intelligence Automation Leader w organizacji EY GDS.

Inf.: PAP