Tencent presenta quattro modelli compatti di Hunyuan open-source con parametri da 0,5B, 1,8B, 4B e 7B

Tencent ha rilasciato una nuova suite di modelli Hunyuan compatti: 0.5 miliardi, 1,8 miliardi, 4 miliardi e 7 miliardi di parametri; sono destinati a implementazioni a basso consumo e ai bordi. Tutte e quattro le configurazioni sono ora disponibili su GitHub e Hugging Face, e ognuna può eseguire l'inferenza su una singola scheda grafica di livello consumer, rendendole adatte a computer portatili, smartphone, sistemi smart-cabin e altri hardware con risorse limitate.

Nonostante le dimensioni ridotte, i modelli ottengono punteggi di primo piano nella comprensione del linguaggio, nella matematica e nel ragionamento in diversi benchmark pubblici. Tencent attribuisce questi risultati a un'architettura di "ragionamento fusion" che consente agli utenti di scegliere tra una modalità di pensiero veloce per risposte concise e una modalità di pensiero lento per ragionamenti più elaborati a più fasi.

Una caratteristica tecnica chiave è la finestra di contesto nativa da 256K token, sufficiente per ingerire circa 500.000 parole inglesi in un solo passaggio. Tencent sottolinea le applicazioni interne come Tencent Meeting e WeChat Reading, dove i modelli possono analizzare un'intera trascrizione di una riunione o un libro completo in una sola volta, mantenendo le relazioni tra i personaggi e i dettagli della trama per le query a valle.

I quattro LLM compatti si integrano con i principali framework di inferenza, tra cui SGLang, vLLM e TensorRT-LLM, e supportano diversi formati di quantizzazione. Le prime approvazioni da parte di Arm, Qualcomm, Intel e MediaTek indicano i prossimi pacchetti di distribuzione ottimizzati per i rispettivi processori client.

I primi casi d'uso sottolineano il focus pratico della release. Tencent Mobile Manager riferisce di un'intercettazione dello spam a livello di millisecondo senza trasferimento di dati fuori dal dispositivo. Allo stesso tempo, uno schema a doppio modello nell'assistente di cabina intelligente di Tencent bilancia il consumo di energia a bordo con la profondità della conversazione. Questi esempi, sostiene Tencent, dimostrano che i modelli di piccole dimensioni possono offrire capacità di agente di livello aziendale, se progettati con attenzione.