Jihokorejský operátor KT představil server NPU LLM Station, který umožňuje provozovat generativní umělou inteligenci přímo v podnikové nebo státní síti bez připojení k externím cloudovým službám. Společnost zařízení označuje za první komerčně dostupný podnikový server pro suverénní umělou inteligenci v Jižní Koreji.
Korejský čip, jazykový model i provozní platforma v jednom zařízení
NPU LLM Station je navržen jako hotové řešení v podobě jediného rackového zařízení. Kombinuje výpočetní hardware, jazykový model i platformu pro správu a provoz umělé inteligence. Organizace tak nemusí jednotlivé části infrastruktury sestavovat samostatně ani posílat citlivá data do veřejného cloudu.
Výpočetní výkon zajišťuje čip ATOM-MAX od korejské společnosti Rebellions. Jde o neurální procesorovou jednotku navrženou v Jižní Koreji, která je zaměřena především na efektivní inferenci, tedy praktické používání již natrénovaných modelů. Rebellions patří mezi domácí bezčipové společnosti, které se snaží nabídnout alternativu k řešením firem Nvidia a AMD.
Součástí serveru je také proprietární velký jazykový model Mi:dm K 2.5 Pro od KT. Model je přizpůsobený potřebám korejských podniků a veřejných institucí, kde může pracovat s místní terminologií, interními dokumenty a specifickými pracovními postupy.
Integrovaná aplikační platforma poskytuje rozhraní typu REST API pro monitorování, správu a napojení na stávající podnikové systémy. Instituce tak mohou na serveru vytvářet interní chatboty, nástroje pro práci s dokumenty nebo další aplikace podobně jako při využívání cloudových API. Rozdíl spočívá v tom, že data i samotné modely zůstávají uvnitř vlastní infrastruktury.
Řešení je určeno především pro prostředí, kde je používání externích cloudových služeb omezené bezpečnostními pravidly nebo právními předpisy. Typicky může jít o státní správu, finanční sektor, obranu a další organizace provozující síťově oddělené systémy. KT tím reaguje na rostoucí poptávku po umělé inteligenci, která nabízí moderní funkce, ale současně zachovává kontrolu nad daty, hardwarem i dodavatelským řetězcem.
Zdroj: rcrwireless.com
