Čína sice nemusí mít snadný přístup k některému hardwaru navrženému v USA, jak by si přála, ale je zřejmé, že je stále schopna vyvíjet špičkové velké jazykové modely. Výzkumné oddělení AI společnosti China Telecom, TeleAI, zveřejnilo jako open-source sérii velkých jazykových modelů TeleChat3, což jsou první rozsáhlé modely Mixture-of-Experts v Číně trénované výhradně na domácích polovodičích.

Jde o poměrně velkou věc pro čínské domácí úsilí v oblasti AI. Získání přístupu k GPU od Nvidie a dalším americkým společnostem bylo pro čínské firmy v nejlepším případě obtížné, ale zdá se, že čínský domácí AI stack skutečně dokáže podporovat vývoj modelů na špičkové úrovni.

Masivní model

Řada TeleChat3 zahrnuje několik velikostí modelů, přičemž vlajkovou lodí je TeleChat3-105B-A4.7B-Thinking – jemnozrnná architektura MoE s 105 miliardami parametrů. Toto pojmenování zdůrazňuje, že během jakéhokoli inferenčního průchodu se aktivuje pouze 4,7 miliardy parametrů, což je hlavní výhodou návrhů MoE. Získáte vysoký výkon bez výpočetní zátěže spojené s provozem hustého modelu v tomto měřítku. Existuje také TeleChat3-36B-Thinking, hustá architektura, která pravděpodobně nabízí různé kompromisy v závislosti na potřebách nasazení.

Trénování probíhalo v výpočetní infrastruktuře v Šanghaji Lingang, přičemž modely spotřebovaly 15 bilionů tokenů. Celý stack běží na AI čipech Huawei Ascend 910B spárovaných s frameworkem pro hluboké učení MindSpore – dalším projektem vyvinutým společností Huawei, tentokrát open-source. China Telecom zdůrazňuje plnou kompatibilitu se širším ekosystémem Huawei Ascend, včetně trénovacích serverů Ascend Atlas800T A2. Podle společnosti hardware Huawei zvládl „náročné požadavky“ rozsáhlého trénování MoE, ačkoli podrobnosti o efektivitě trénování, míře selhání nebo o tom, jak se to všechno srovnává s hardwarem Nvidia, nebyly sdíleny.

China Telecom, který model vyvinul, byl prvním telekomunikačním operátorem, který přijal DeepSeek – ale dává smysl, že by společnost chtěla místo toho vytvořit vlastní model.

„Režim myšlení“

Jednou z funkcí TeleChat3 je takzvaný „režim myšlení“ – mechanismus, který uživatelům odhaluje proces uvažování modelu. Implementace funguje prostřednictvím specifických vodících symbolů v dialogových šablonách, které model vybízejí k vytvoření mezilehlých kroků uvažování před vytvořením konečné odpovědi. To zní velmi podobně jako techniky chain-of-thought promptingu, které se staly standardní praxí v oboru, ačkoli China Telecom to prezentuje jako odlišnou architektonickou schopnost.

Cílem je lepší výkon u složitých úkolů zahrnujících logickou dedukci. China Telecom poukazuje na znalostní otázky, matematické uvažování, tvorbu obsahu, generování kódu a aplikace inteligentních agentů jako oblasti, kde by tento režim myšlení měl přinést výhody. Společnost tvrdí, že výkon v šesti hlavních dimenzích se blíží „pokročilým mezinárodním úrovním“. To řečeno, neobjevila se žádná přímá srovnání s GPT-5 nebo Claude, takže tato tvrzení si zaslouží určitou skepsi, dokud se neobjeví hodnocení třetích stran.

Geopolitika

Není možné pochopit vydání TeleChat3 bez zvážení geopolitického pozadí. Americké sankce odřízly jak China Telecom, tak Huawei od pokročilých polovodičů vyráběných pomocí americké technologie, což přimělo čínský technologický sektor urychlit práci na životaschopných alternativách. TeleChat3 je první veřejné potvrzení od čínského vývojáře, že rozsáhlé trénování MoE může skutečně probíhat pouze na domácích čipech. Pro upřesnění, některé zákazy vývozu čipů do Číny byly zmírněny, ale tyto čipy stále nejsou tak snadno dostupné a přicházejí za vysokou cenu.

Zda to představuje skutečnou technologickou soběstačnost nebo řešení s skrytými náklady, je těžší říci. Kritici čínského polovodičového úsilí tvrdili, že čipy Huawei zůstávají méně efektivní než nejnovější hardware Nvidia, což potenciálně vyžaduje více křemíku, více energie a více času k dosažení ekvivalentních výsledků. China Telecom nezveřejnil druh podrobných srovnání, které by komukoli umožnily nezávisle posoudit tyto kompromisy.

Vydání také zapadá do širší čínské iniciativy „Umělá inteligence+“ – vládou podporovaného úsilí o nasazení AI napříč sektory, jako jsou vládní služby, komunikace, energetika a finance. TeleChat3 vypadá jako součást tohoto úsilí a nabízí domácí model, který se vyhýbá závislosti na zahraniční technologii pro citlivé aplikace.

Na rozdíl od některých jiných čínských AI projektů China Telecom zpřístupnil váhy modelu, inferenční kód a příklady použití na GitHubu a ModelScope. Přechod na open-source otevírá dveře jak akademickým výzkumníkům, tak komerčním vývojářům, což potenciálně urychluje adopci a zároveň umožňuje určitou míru nezávislé kontroly. Samozřejmě, teprve se uvidí, jak velkou trakci modely získají mimo Čínu.

Zdroj: rcrwireless.com