Nos últimos anos, a corrida para desenvolver modelos de linguagem com maior capacidade de “raciocínio” tem ganhado destaque. Empresas como ByteDance, a gigante chinesa por trás do TikTok, agora também estão entrando nesse mercado competitivo. Com o anúncio do Seed-Thinking-v1.5, a ByteDance busca melhorar o desempenho em tarefas que exigem raciocínio estruturado, abrangendo áreas como ciência, tecnologia, matemática e engenharia (STEM), além de domínios gerais.
Construção Baseada em Arquitetura “Mixture-of-Experts” (MoE)
Seguindo os passos de modelos como Llama 4 e Mixtral, o Seed-Thinking-v1.5 adota a arquitetura “Mixture-of-Experts” (MoE). Essa abordagem divide o modelo em diferentes especialistas, otimizando o uso dos recursos. No caso do Seed-Thinking-v1.5, apenas 20 bilhões de parâmetros dos 200 bilhões disponíveis são utilizados em um momento específico. Isso resulta em maior eficiência e desempenho.
De acordo com o artigo técnico publicado no GitHub, o foco do modelo é fornecer respostas mais bem estruturadas e fundamentadas. Essa abordagem reforça sua posição como um concorrente próximo de modelos como DeepSeek R1 e Google Gemini 2.5 Pro em avaliações de benchmark, superando até mesmo esses modelos em métricas como o ARC-AGI benchmark.
Desempenho e Resultados
Nos testes de desempenho, o Seed-Thinking-v1.5 atingiu 86,7% no AIME 2024, 55% no Codeforces e 77,3% no GPQA, colocando-o em níveis semelhantes aos principais modelos de ponta. Além disso, o modelo demonstrou um índice 8% maior de preferência humana em relação ao DeepSeek R1, destacando sua versatilidade em tarefas não relacionadas a raciocínio lógico.
Para superar desafios de benchmarks saturados, a ByteDance criou o BeyondAIME, um conjunto de problemas matemáticos mais complexos e adaptados para evitar memorização. Esses dados serão disponibilizados ao público para fomentar a pesquisa em IA.
Estratégia de Dados
O desenvolvimento do Seed-Thinking-v1.5 incluiu uma seleção rigorosa de dados de treinamento. Foram usados 400.000 exemplos, divididos em:
- Problemas verificáveis: 300.000 exercícios de STEM, lógica e programação com respostas conhecidas.
- Tarefas não verificáveis: 100.000 exemplos focados em criação de conteúdo e interação com base em preferências humanas.
A maior parte dos dados de STEM incluiu matemática avançada, enquanto outros desafios envolviam lógica, como Sudoku e puzzles de pontos. Essa estratégia enfatiza a qualidade dos dados como um fator essencial para melhorar o desempenho do modelo.
Inovações em Aprendizado por Reforço
O Seed-Thinking-v1.5 utiliza frameworks personalizados como VAPO e DAPO para aprimorar o treinamento por reforço. Esses métodos reduzem instabilidades, especialmente em cadeias longas de raciocínio. Além disso, a ByteDance introduziu ferramentas como:
- Seed-Verifier: Verifica respostas matemáticas geradas pelo modelo.
- Seed-Thinking-Verifier: Avalia raciocínio passo a passo para garantir consistência.
Esses sistemas garantem que o feedback seja mais confiável, resultando em melhores resultados.
Infraestrutura e Escalabilidade
Para suportar o treinamento em larga escala, a ByteDance criou uma infraestrutura robusta com o sistema HybridFlow. Inovações incluem:
- Uso de precisão mista (FP8) para economia de memória.
- Paralelismo de especialistas e otimização automática de kernel.
- Checkpoints resilientes com ByteCheckpoint.
- Sistema de Rollout Streaming (SRS), que acelera ciclos de aprendizado.
Essas soluções otimizam o uso de hardware e agilizam os processos de treinamento e inferência.
Avaliação Humana e Impacto Prático
O modelo foi testado em cenários reais, incluindo redação criativa e conversas gerais, e superou o desempenho do DeepSeek R1 na maioria dos casos. A estrutura rigorosa de treinamento baseada em tarefas verificáveis contribuiu para sua capacidade de generalização em diferentes domínios.
O Que Isso Significa Para Empresas e Especialistas em Dados
O Seed-Thinking-v1.5 oferece aos líderes de tecnologia uma oportunidade de repensar como integrar IA de raciocínio em soluções corporativas. Seu processo modular, aliado a inovações em aprendizado por reforço, é ideal para equipes que buscam controle detalhado durante o desenvolvimento de modelos.
Além disso, o modelo oferece vantagens para engenheiros de dados com sua abordagem estruturada à curadoria de dados, destacando a importância da qualidade no desempenho final. Para saber mais sobre estratégias de IA e como aplicá-las no dia a dia, confira nossa sessão de notícias sobre IA.
Perspectivas Futuras
O Seed-Thinking-v1.5 é resultado da colaboração da equipe Seed LLM Systems da ByteDance, liderada por Yonghui Wu. A equipe pretende continuar refinando técnicas de aprendizado por reforço e ampliando benchmarks internos, buscando impulsionar ainda mais a pesquisa em IA focada em raciocínio.