Az üzleti életben többször előfordul az a jelenség, amikor egy ajánlat már gyanúsan jónak tűnik. Ez volt az első gondolatom akkor, amikor először hallottam a Lenovo Thinkstation PGX nevű, mesterséges intelligencia modellek fejlesztésére és futtatására készített kis szuperszámítógépéről. A Rendszerinformatika Zrt. jóvoltából lehetőségem nyílt elsőként kipróbálni és tesztelni az országba beérkező eszközt, ami hatalmas megtiszteltetés volt számomra. Természetesen a kicsomagolás közben még mindig gyanúsan méregettem az eszközt, hiszen túl kicsinek és könnyűnek tűnt. Először azt hittem, egy kisebb tréfa áldozata lettem és a csomagban a gép helyett édesség lapul, annyira könnyű volt a doboz. Így kezdődött el a többnapos tesztelési folyamat. A cél az volt, hogy a gép valós helyzeteken és feladatokon kerüljön kipróbálásra. Mesterséges intelligencia fejlesztőként már sok mindent láttam, így meglehetősen sokféle módszert találtam ki a marketinganyagokban szereplő állítások tesztelésére. A cikkből kiderül, tényleg igaz-e, hogy lehet irodai körülmények között futtatni egy saját nagy nyelvi modellt.
Mit jelent az asztali szuperszámítógép kifejezés?
Amikor szuperszámítógépekről olvasunk, akkor a hatalmas adatközpontok végtelennek tűnő szervereire gondolunk. Néhányunknak eszünkbe juthatnak időjárás-előrejelző rendszerek, a Németországban található JUPITER, vagy például a svájci részecskegyorsító, a CERN szerverei is, ahol már régóta probléma a hatalmas mennyiségű és skálázható számítási kapacitás biztosítása. Az asztali szuperszámítógép kis helyen ígér nagy erőforrást. Ez lehet memória, processzorok száma, vagy éppen a számítási sebesség is. Mindezt pedig olyan módon, hogy nem szükséges egy kisebb erőművet üzembe állítani, hanem csak egy hálózati adapterrel ellátott csatlakozót kell a konnektorba dugni.
Mit ígér a Lenovo Thinkstation PGX szuperszámítógép?
A Lenovo gépe egyszerre próbál minden területre fókuszálni és a számokkal lenyűgözni. A 20 processzormag és az 5. generációs videókártya hatalmas, 128 gigabájt méretű memóriával dolgozik. A beépített tárhely mérete 1 terabájt. Ha pedig valakinek kevés lenne az osztott memória, akkor két kis szuperszámítógépet is összeköthet egy speciális csatlakozón keresztül, hogy megduplázza a teljesítményt. Az adatok gyors elérését nagy sebességű hálózati csatlakozó és USB portok biztosítják.
Mit jelentenek a valóságban a szuperszámítógép paraméterei?
A felső kategóriás mobiltelefonnal rendelkezők szerintem nem ájulnak el az 1 terabájtos tárhelytől. A memória még kicsinek is tűnhet, hiszen ennél jóval nagyobb méret áll rendelkezésre már a középkategóriás mobilokban is. Fontos azonban, hogy nem szabad az almát a körtével összehasonlítani. Ez az asztali szuperszámítógép a videókártyák memóriájával próbál versenyre kelni, amelyeknél ez a szám óriási. A legnagyobb kártyák is 80 vagy 94 gigabájtosak, de a legtöbb fejlesztő ennél sokkal szerényebb kapacitásokon tesztel. A nagyobb kártyák pedig csillagászati áron érhetők el.
Természetesen egy bő egy kilós kis dobozkában nem fér el egy nagy kártya, illetve nem lehet olyan hűtési rendszert megvalósítani, amely felvenné a versenyt az adatközpontokban lévő felhőalapú infrastruktúrában elérhető rendszerekkel. A Lenovo ígérete azonban nem is ez. A gép lehetővé teszi az óriási nagy nyelvi modellek futtatását. Ezeket amúgy nem, vagy csak sok milliós beruházás és külön szakértői csapat alkalmazása után lehetne üzemeltetni. Itt pedig mindez karnyújtásnyira van, csak a miniatűr bekapcsoló gombot kell megnyomni.
A fogyasztása meglepően alacsony, mind a 20 magot megterhelve csak 130 watt körüli. A videókártyával végzett mesterséges intelligencia betanítás is mindössze 150 wattos fogyasztást jelent. A meglepetés pedig igazán akkor ér minket, amikor belegondolunk abba, hogy egy vasaló vagy egy hajszárító fogyasztása ennek több mint tízszerese.
Valós teljesítmény: mit jelentenek a számok?
A technikai leírás azt ígéri, hogy a teljesítménye akár 1 petaFLOP is lehet, ez a gyakorlatban kevés felhasználónak érhető el. Ez az 1 petaFLOP 1 billiárd számítást jelent másodpercenként. Ha minden műveletet 1 gondolatnak fognánk fel, és másodpercenként százezer dologra gondolnánk egyszerre, akkor körülbelül 317 év alatt tudnánk végiggondolni ezt. A Svédországban jelenleg telepítés alatt lévő ARRHENIUS szuperszámítógép várhatóan “csak” 60 petaFLOP-os lesz. Tényleg lehetséges ez? A válasz az adattárolásban rejlik, ami kicsit játék a számokkal.
Az asztali szuperszámítógép csak jelentősen korlátozott adatmennyiségen éri el ezt a teljesítményt. Ehhez szükség lenne a mesterséges intelligencia modellek átalakítására, amelyet szakszóval kvantálásnak nevezünk. Ha szerencsénk van és találunk ingyenesen elérhető átalakított modellt, akkor könnyű dolgunk van, de egyébként ehhez szakember igénybevételére van szükség. A nagy adatközpontok vagy a nagy kapacitású videókártyák ezzel szemben nagyobb adatmennyiség esetén is képesek gyorsan számolni.
A 20 processzormag ARM-alapú architektúrát jelent, amely hasonlatos a mobiltelefonokban lévő lapkákhoz. Bár ezek is teljes értékű chipek, a bennük lévő utasításkészlet elmarad azoktól a processzoroktól, amelyeket az adatközpontokban lévő szerverekbe szántak.
A videókártyával végzett betanítás sebessége hihetetlenül gyors, a processzoros megoldáshoz képest tízszeres sebességnövekedést lehet elérni. További előny, hogy a memória osztott, így nincs szükség az adatok folyamatos áttöltésére a videókártya és a rendszer memória között. Ez is jelentős sebességnövekedést jelent egy klasszikus számítógéphez képest. A nagy memóriának köszönhetően a rendszer képes óriási nagy nyelvi modelleket betölteni és futtatni, amely hatalmas előny lehet egy vállalkozás számára.
Milyen sebességgel fut egy nagy nyelvi modellen ezen az eszközön?
A sebességet alapvetően 3 dolog befolyásolja:
- a modell nagysága
- a modell pontossága
- a futtatás helye
A modell nagysága azt jelenti, hogy hány paramétert tartalmaz. Minél nagyobb, annál “okosabbnak” mondjuk. A memória nagysága miatt gigantikus méretű modellek betöltésére is lehetőség van. Egy gép esetén akár 200 milliárd paraméteres modellt is használhatunk, míg két gép összekötésével elérhetők a 405 milliárdos paraméterrel rendelkező modellek is. Az OpenAI által 2025 nyarán bemutatott új modellcsaládba tartozó gpt-oss-120b modell például 120 milliárd paraméterrel rendelkezik.
A modell pontossága azt jelenti, hogy egy adatpontot mekkora helyen tárolunk le. Ez olyan, mint egy bevásárlóközpont ajtaja. Ha mindenki bevásárlókocsival akar keresztül menni rajta, akkor egyszerre csak 4 ember fér el. Kézi kosárral már 8, de kosár nélkül 12 ember is elfér egyszerre. A kisebb pontosság általában gyengébb eredményt is jelent, de például az Nvidia képes volt elhanyagolható szinten tartani a csökkenést a DeepSeek-R1 modellel végzett kísérlet során.
A futtatás helye lehet a processzor vagy a videókártya. Alapvetően érdemes a videókártyát használni, de ha például szeretnénk saját ágens alapú rendszert, ahol több modell dolgozik egyszerre, ott már a processzorra is szükség lesz.
Amennyiben mindenféle finomhangolás és átalakítás nélkül állunk neki a nagy nyelvi modellek használatának, úgy az alábbi hüvelykujj-szabállyal érdemes számolni: az általunk megadott prompt 10-15 token/másodperc sebességgel kerül feldolgozásra, míg a kimenet 3-5 token/másodperc sebességű lesz. A tokent úgy érdemes megragadni, mintha szótagok lennének. Egy ilyen rendszer például alkalmas lehet arra, ha a céges levelezést szeretnénk automatizálni, hiszen egy emailt is képes megírni két percen belül akár magyarul, akár angolul. Kódolási segédként egy fejlesztő számára viszont ez a sebesség már nem elég gyors.
Mire nem lehet használni egy asztali szuperszámítógépet?
A gép mérete és ára már jelzi, hogy vannak limitációk a felhasználás során. Mivel a sebesség erőteljesen korlátozott, egy ilyen gép nem fog kiváltani teljes ügyfélszolgálatokat. Ha csak néhány ügyfelünk van, akkor például chatbot tud róla üzemelni, de ha egyszerre érkezik több megkeresés, akkor a várakozási idő hosszúsága miatt érdemes inkább felhőalapú megoldást választani.
Korlátozott módon van lehetőség betanításra is, legyen szó nagy nyelvi modellről, képgeneráló megoldásról vagy valamilyen hangalapú modellről. Ha a betanítás nem sebesség-kritikus, akkor remek választás egy ilyen eszköz. Amennyiben gyorsan akarunk eredményt, akkor szintén felhőalapú megoldást vagy valamilyen nagy számítási kapacitású szervert érdemes választani.
Mire lehet használni egy ilyen kis szuperszámítógépet?
A 20 processzormag nagyon hatékony párhuzamos adatfeldolgozást tesz lehetővé. Volt például olyan pénzügyi projektem, ahol a piaci elemzést folyamatosan kellett elvégezni, és minden egyes rendelkezésre álló mag egy új piaci szektort jelentett. Gondolhatunk azonban más felhasználásra is. Amennyiben kisebb méretű nyelvi modellek futtatása is elég a cég számára, akkor sima processzormagokon is futtathatjuk őket, párhuzamosan akár többet is.
Az is lehetséges, hogy a videókártyán fut a modell és az adatokat valós időben több processzormag egyszerre készíti el a mesterséges intelligencia modell számára. A céges levelezést például át lehet állítani mesterséges intelligencia alapúra a gép segítségével. A fejlesztők tesztelhetik a különböző elérhető modelleket. Amennyiben egy cég számára fontos az adatvagyon védelme, akkor érdemes saját modellt használnia. Egy ilyen gépen lehetőség van tesztelni az összes elérhető modellt, illetve megalkotni a működéshez szükséges promptokat. Az egész folyamat lefejleszthető az asztali szuperszámítógépen. Kis cég esetén akár az üzemeltetés is megoldható róla, de az valószínűleg már nagy felhőben fog futni.
Ha vannak olyan nem generatív modellek, amelyek kis méretűek, például előrejelzéseket készítenek, vagy szövegek érzelmi állapotát elemzik, akkor azokból akár húszat is lehet párhuzamosan futtatni, ami egészen elképesztő szám.
Két eszköz összekapcsolásával olyan modellek is betölthetők, amelyekről amúgy csak álmodnánk. A 10 gigabites hálózati csatlakozó pedig sok kis cég belső hálózatánál is gyorsabb. Az adatok áttöltése pillanatok alatt megtörténik.
Megéri beruházni egy asztali szuperszámítógépbe?
Nekem fejlesztőként nagyon tetszett az eszköz, így a rövid és gyors válasz az, hogy mindenképpen megéri beruházni, amennyiben egy cég valamilyen mesterséges intelligencia alapú megoldás bevezetését tervezi. Ezt a terméket ugyanis arra tervezték, hogy helyi szinten fejlesszük vagy futtassunk MI modelleket. Akár úgy is, hogy sajátot vesz, de úgy is, hogy bérli a gép kapacitását. Ez utóbbi ugyanis magában foglalja a felhőalapú megoldások egyik legnagyobb előnyét, az alacsony szintű induló költségeket, hiszen nem kell megvásárolni a gépet, elég csak havonta a használati díjat fizetni.
A dobozon belüli megoldást más gyártó is kínálja, azonban a Lenovo Thinkstation PGX gépnek van egy hatalmas előnye: a hűtése. A gép elől és alul szívja be a levegőt, és hátul fújja ki, amivel egyenletes hőmérsékleten tudja tartani a belsejét. Túlhevülés esetén pedig gyorsan visszahűl. A gép a Nvidia DGX OS rendszerrel használható grafikusan. Belső hálózaton keresztül grafikus felületű Nvidia SYNC nevű segédprogrammal monitorozható az erőforrások kihasználása. Nincs szükség arra, hogy szöveges alapon, parancssoros módon kezeljük a gépet.
Összegezve
Az asztali számítógép helyzetét egy közlekedéses példával nagyon jól lehet szemléltetni. A felhőalapú megoldás olyan, mint a vasút. Szinte korlátlan számú kocsi köthető a szerelvényhez, maximum a vasúttársaság rak még hozzá másik mozdonyt. Ez ideális akkor, ha egy egész ipartelepet akarunk kiszolgálni. A helyi szerver olyan, mint egy drága luxus sportautó. Gyorsan és luxus körülmények között elviszi a bőröndünket a célállomásra, amennyiben belefér a csomagtartóba. Nyaralásra jó, csak a szekrényt hagyjuk otthon. Az asztali szuperszámítógép pedig a teherautó, ami után tehetünk egy utánfutót is. A sportkocsinál lassabb, de akár az egész életünket átköltöztethetjük egy másik helyre. Pontosan erre van szükség akkor, amikor nagy nyelvi modelleket futtatunk, AI‑rendszereket fejlesztünk vagy adatintenzív feladatokat végzünk helyben. A tesztek során rengeteg olyan tapasztalat összegyűlt, amely nagyon hasznos lehet a cégeknek egy mini szuperszámítógépes projekt során, így ebben is tudunk segítséget nyújtani. Már csak az a kérdés, hova kell állni azzal a szakértői teherautóval és meddig szeretne a cég eljutni?
Ha van még kérdésed a Lenovo Thinkstation PGX szuperszámítógéppel kapcsolatvan, töltsd ki az alábbi űrlapot és felvesszük veled a kapcsolatot.
