TLDR;

Funciona usando a tecnologia Strata, que desloca grande parte do MoE para a RAM para permitir rodar modelos enormes como o Qwen 3.8 Flash Next em GPUs com apenas 8–16 GB de VRAM. Você precisa de uma GPU com 8–16 GB de VRAM e bastante memória RAM (idealmente 64–128 GB em PCs antigos) ou pode alugar uma GPU similar via RunPod para testar. A configuração é relativamente simples seguindo o repositório Strata (vários comandos passo a passo), leva cerca de 1 a 1,5 horas e pode ser testada sem instalar nada usando serviços como RunPod.

Resumo

Strata permite rodar modelos massivos de IA para codificação, como Qwen 3.8 Flash Next (125 a 180 bilhões de parâmetros), em GPUs com apenas 8 a 16 GB de VRAM ao transferir grande parte dos especialistas MoE para a memória RAM, tornando possível executar localmente modelos que antes exigiam milhares de dólares em hardware. O autor investiga a técnica, demonstra testes práticos usando o serviço RunPod em GPUs modestas (por cerca de US$0,24 por hora), e mostra taxas impressionantes de geração de tokens em diferentes configurações. Ele orienta passo a passo a implantação de um pod, a habilitação do terminal web e a execução dos comandos do repositório Strata, informando que a instalação leva aproximadamente uma a uma hora e meia. Além disso, anuncia o site yourunai.com, onde publicará o guia completo com recomendações de modelos e instruções para executar agentes privados, chats, geração de imagens e modelos de código no hardware local ou em máquinas alugadas. A proposta facilita que entusiastas testem modelos sem comprar GPUs caras, permitindo avaliar desempenho em placas mais acessíveis antes de investir em hardware mais potente. Também menciona links, uma newsletter para atualizações e um guia para iniciantes que explica todos os passos do zero.