A startup de pesquisa em inteligência artificial, Deep Cogito, baseada em San Francisco, revelou oficialmente seus modelos de linguagem de código aberto, denominados Cogito v1. Estes modelos, desenvolvidos a partir do LLaMA 3.2 da Meta, introduzem capacidades de raciocínio híbrido, permitindo respostas rápidas ou reflexivas, características já presentes em sistemas como DeepSeek R1 e os modelos “o” da OpenAI. Para mais detalhes sobre o lançamento, acesse Cogito v1 Preview.
Modelos Avançados de Código Aberto
A proposta da Deep Cogito é ultrapassar as limitações atuais, permitindo que seus modelos refinem e integrem continuamente estratégias de raciocínio aprimoradas. Todos os modelos lançados são de código aberto, garantindo acesso amplo para desenvolvedores e empresas. O portfólio inicial inclui modelos com tamanhos de 3 bilhões a 70 bilhões de parâmetros, disponíveis em plataformas como Hugging Face e Ollama.
Entre os principais objetivos da startup está o desenvolvimento de superinteligência, uma IA capaz de superar o desempenho humano em todos os domínios.
Metodologia Inovadora de Treinamento
A metodologia utilizada, intitulada Iterated Distillation and Amplification (IDA), é destacada como uma alternativa ao tradicional aprendizado por reforço com feedback humano. Essa abordagem se baseia em permitir que os modelos gerem soluções melhores com maior uso de computação. Essas melhorias são incorporadas aos parâmetros do modelo, criando um ciclo contínuo de autodesenvolvimento.
Desempenho e Comparações
Os modelos Cogito v1 exibem resultados superiores em benchmarks de conhecimento geral, raciocínio matemático e tarefas multilíngues:
- Cogito 3B superou o LLaMA 3.2 3B em MMLU (65,4% contra 58,7%) e Hellaswag (81,1% contra 62,3%).
- Cogito 8B obteve 80,5% em MMLU, marcando 12,8 pontos a mais que o LLaMA 3.1 8B.
- Cogito 70B, no modo padrão, apresentou 91,7% em MMLU, superando concorrentes como LLaMA 3.3.
Apesar de avanços consistentes, os modelos ainda enfrentam desafios em benchmarks matemáticos, como o MATH, onde o desempenho do Cogito 70B (modo raciocínio) ficou atrás do DeepSeek R1.
Planos Futuros
A Deep Cogito planeja expandir sua linha de modelos, com versões que chegam a 671 bilhões de parâmetros. Além disso, a empresa continuará implementando melhorias em seus modelos existentes, utilizando a metodologia IDA para garantir um progresso escalável e eficiente.
Com parcerias estratégicas em pesquisa e infraestrutura, a empresa reafirma seu compromisso em ampliar as possibilidades da inteligência artificial no mercado global.