TLDR;

LLMs conseguem gerar código funcionalmente correto em muitos casos, porém frequentemente não entregam qualidade empresarial consistente em termos de manutenibilidade, segurança e disciplina arquitetural. Os problemas mais comuns encontrados são código excessivamente verboso, alta complexidade ciclomática, bugs e vulnerabilidades — por exemplo, até centenas de problemas de segurança por milhão de linhas devido a dados de treino com qualidade mista. A Sonar avaliou 53+ modelos em 4.444 tarefas Java e disponibilizou um leaderboard mostrando que modelos como Gemini 3.1 Pro High alcançam cerca de 84% de pass rate, mas a escolha do modelo deve ser guiada pelas métricas de SonarQube e pelo contexto da arquitetura da empresa.

Resumo

A palestra de Prasanjit Sarkar questiona se os LLMs geram código pronto para uso empresarial, destacando a transição da programação em IDEs para plataformas agentic onde instruções em inglês substituem o código manual. Apesar de 55% dos desenvolvedores usarem agentes, há dúvidas sobre manutenção, segurança, legibilidade e disciplina de engenharia. A Sonar criou um framework de avaliação que executou mais de 4.444 exercícios Java em 53+ modelos e divulgou os dados publicamente em sonar.com/leaderboard. Embora alguns modelos atinjam altas taxas funcionais (por exemplo, Gemini 3.1 Pro High com 84,17% no SWE bench), o código gerado é volumoso e problemático: Gemini gerou ~307 mil linhas com complexidade ciclomatica elevada, Claude Sonnet 4.6 produziu ~627 mil linhas e 300 problemas de segurança por milhão de linhas, e GPT-5.4 gerou ~1,2 milhão de linhas. A análise identificou causas como conjuntos de treino de qualidade mista, exemplos inseguros embutidos, bugs ocultos nos dados e a natureza probabilística e de contexto limitado dos LLMs, além da dificuldade de explicação e diagnóstico. O leaderboard detalha métricas de pass rate, densidade de falhas, complexidade e ajuda na escolha do modelo adequado à arquitetura da empresa e enfatiza a necessidade de revisão humana e políticas robustas de governança.