Próba na starym komputerze
W ramach eksperymentu współczesny model AI uruchomiono na komputerze z 1997 roku, który miał procesor Pentium II i 128 MB RAM. To niesamowite osiągnięcie zostało zrealizowane przez firmę EXO Labs, która współpracowała z naukowcami z Uniwersytetu Oksfordzkiego. EXO Labs powstało dzięki inicjatywie Andreja Karpathy’ego, uznanego specjalisty od sztucznej inteligencji.
Model językowy oparty na Llama 2 działał na procesorze Intel Pentium II o taktowaniu 350 MHz, co umożliwiło osiągnięcie prędkości 39,31 tokenów na sekundę. Przy tym użyto 260 000 parametrów – imponujący wynik, zważywszy na ograniczenia sprzętowe.
BitNet – architektura, która wszystko ogarnia
Sukces projektu zawdzięczamy właśnie architekturze sieci neuronowej BitNet. Ta technologia wykorzystuje wagi ternarne (czyli mogą przyjmować wartości -1, 0 oraz 1), co pozwala ekstremalnie skompresować model bez zauważalnego pogorszenia jego działania. Dzięki temu potężny model z 7 miliardami parametrów można zredukować do rozmiaru zaledwie 1,38 GB.
Dodatkowo, architektura BitNet umożliwia odpalenie modeli zawierających aż 100 miliardów parametrów na pojedynczym procesorze CPU. To otwiera zupełnie nowe możliwości dla AI, zwłaszcza tam, gdzie najnowsze technologie są trudno dostępne.
Społeczne i ekologiczne zalety
Uruchamianie sztucznej inteligencji na starszym sprzęcie przynosi wiele korzyści społecznych oraz ekologicznych. Przede wszystkim obniża koszty wdrażania AI, co jest szczególnie ważne dla krajów rozwijających się. Dzięki temu istniejący sprzęt – czy to szkolny, medyczny czy używany w małych firmach – może zasilić nowoczesne aplikacje.
Ponadto, wykorzystanie starych urządzeń zmniejsza ilość odpadów elektronicznych i ogranicza emisję CO₂ związaną z produkcją nowych komponentów. W czasach, gdy troska o środowisko staje się coraz ważniejsza, takie podejście może znacząco przyczynić się do ochrony planety.
Nowatorskie spojrzenie na przyszłość AI
To, co dzieje się z AI, nie musi wiązać się wyłącznie ze wzrostem mocy obliczeniowej. Sukces może wynikać z pomysłowych rozwiązań w oprogramowaniu, które pozwolą robić “więcej z mniejszym wydatkiem”. Taka wizja promuje bardziej otwarty i dostępny rozwój sztucznej inteligencji, nie zarezerwowany jedynie dla tych, co dysponują najnowszym sprzętem.
W miarę jak technologia zmierza ku bardziej zrównoważonemu rozwojowi, warto dostrzec potencjał, jaki drzemie w starszych rozwiązaniach, i odkryć, jak można je efektywnie wykorzystać. Może to przyczynić się do bardziej powszechnego dostępu do zaawansowanych systemów, wspierając globalny postęp społeczny i gospodarczy.
