TLDR;

Colibri aproveita que GLM 5.2 é um modelo mixture‑of‑experts mantendo em RAM só o núcleo denso (~10 GB) e carregando assíncronamente do SSD apenas os especialistas selecionados pelo roteador, de modo que por token só ~5% dos pesos precisam estar na memória. O desempenho varia muito — aproximadamente 0,1 tokens/s em SSDs baratos até ~1 token/s em um M5 Max — mas ainda permite gerar milhares de tokens por dia e é útil quando qualidade e operação offline importam mais que latência. Leituras intensas não desgastam a flash, o maior risco é throttling térmico em drives baratos durante longas execuções, e para tarefas offline, air‑gapped ou de alta qualidade o custo de um SSD torna viável rodar modelos de ponta no desktop.

Resumo

GLM 5.2, um modelo aberto de 744 bilhões de parâmetros, surpreende ao rodar em laptops com apenas 25 GB de RAM graças ao motor Colibri: 1.300 linhas de C, sem Python nem GPU, que explora a arquitetura mixture-of-experts do modelo. Em cada camada há 256 especialistas e um roteador escolhe oito por token, de modo que só ~5% dos parâmetros são usados a cada instante. Colibri mantém o núcleo denso — atenção, embeddings e um especialista compartilhado — permanentemente em RAM (cerca de 10 GB em precisão 4 bits) e armazena os ~21,5 mil especialistas restantes num arquivo de 370 GB no SSD, carregando sob demanda os especialistas necessários de forma assíncrona e com cache em RAM. Essa estratégia supera memory-mapping por prever quais pesos serão usados, permitindo pré-carregamento e sobreposição de I/O e cálculo; hoje a taxa varia de 0,1 a 1 token/s conforme o SSD. Leituras não desgastam flash, mas há risco de throttling térmico. Solução é lenta para uso interativo, mas viável para tarefas off-line, máquinas air-gapped ou quando qualidade importa, mudando o paradigma de “modelo de fronteira” do data center para o desktop. Isso democratiza o acesso a modelos avançados para pesquisadores, empresas pequenas e hobbistas.