18 redes neurais foram enviadas para uma corrida científica

O laboratório Prime Intellect conduziu um experimento incomum: 18 modelos de linguagem de ponta - de Fable 5 e GPT-5,6 Sol até o aberto Kimi K3 - foram lançados em “raças” científicas autônomas, onde os humanos não interferem em nada. O final acabou sendo barulhento: um modelo chinês aberto com arnês de agente barato chegou perto do carro-chefe mais caro Anthropic. Vejamos o que aconteceu lá e por que isso é importante para todos que acompanham o desenvolvimento da IA.

A essência da corrida: otimizar o treinamento em um mínimo de etapas

O problema foi retirado do famoso projeto nanoGPT de Andrey Karpaty. Um modelo pequeno com 124 milhões de parâmetros precisa ser treinado para uma perda de 3,28 - mas no menor número possível de etapas de treinamento. A receita inicial dá resultados em 3.290 etapas. O melhor que as pessoas alcançaram foi 2.600.

O agente recebe um repositório de código, um pequeno conjunto de regras e um objetivo. Então ele mesmo: o otimizador edita, executa experimentos, distingue melhorias reais de ruídos aleatórios e decide o que verificar a seguir. Hardware - oito H200s, tudo trancado em uma sandbox sem internet, para que o modelo não espie a resposta pronta. No total, foram concluídas 153 corridas totalmente autônomas, a mais longa durando mais de oito dias.

Quem ficou sem por quanto tempo

A mais distante foi Fable 5 de Anthropic - 2.726 passos, ela percorreu aproximadamente 82% do caminho entre a receita básica e o registro humano. O carro-chefe Claude Opus 5 terminou em 2920.

Mas então uma sensação aconteceu. Aberto Kimi K3 de Moonshot AI, trabalhando através do chicote multiagente Prime Agent Harness, parou em 2.930 passos. Dez passos de diferença em relação ao carro-chefe, que é visivelmente mais caro em termos de tokens. GPT-5.6 Sol ao mesmo tempo atingiu apenas 3042 - atrás do modelo aberto.

O mais interessante: ninguém inventou nada de novo

Nenhuma das 153 execuções produziu um método fundamentalmente novo. Tudo o que realmente funcionou – normalizações complicadas, tabelas de taxas de aprendizagem, média de peso – foi descrito há muito tempo em artigos. O conjunto de ideias para todos os modelos acabou sendo aproximadamente o mesmo.

A diferença estava na execução. Modelos fortes não enterram a hipótese após uma tentativa malsucedida: eles mudam a semente aleatória, repetem medições, retornam às ideias antigas quando as condições mudam. Tenha mais cuidado ao separar o progresso real do ruído. E também constroem suas próprias ferramentas: Kimi K3 escreveu suas próprias funções para comparar curvas de perdas e montou um minilaboratório, onde primeiro testou o método numérico de Newton-Schulz em casos simples, e só depois o transferiu para treinamento real.

Por que isso supera o cenário de IA que melhora a IA?

A clássica história de terror sobre o autoaperfeiçoamento recursivo é mais ou menos assim: o modelo fechado mais inteligente começa a se aprimorar e entra em uma lacuna inevitável, o resto fica para trás. Esta experiência mina esse quadro. Quando as ideias se esgotam rapidamente, não é o mais inteligente quem ganha, mas aquele cujo ciclo “apresentar uma hipótese - testada - descartada” custa menos e gira mais rápido. Modelos abertos, controlados por um bom arnês, fazem mais tentativas por dólar, e isso acaba sendo mais importante que o próximo item da tabela de benchmark.

Onde está o problema?

Para ser honesto: a tarefa aqui é única e muito restrita. Um roteiro de treinamento, uma métrica clara, um critério claro para o sucesso – a ciência real parece muito menos previsível. Não surgiram novos métodos, então por enquanto estamos falando em automatizar a rotina do pesquisador, e não em substituí-lo. Bem, o resultado depende muito do próprio chicote: o mesmo Kimi K3 sem uma camada de agente funciona visivelmente pior.

Perguntas frequentes

O que é vinculação de agente?

Camada em torno do modelo: ferramentas, ambiente de execução de código, memória de etapas anteriores, agendador de tarefas. O modelo permanece o mesmo, mas é mais conveniente de trabalhar – como uma boa mesa com as ferramentas certas para uma pessoa.

O Kimi K3 está disponível para usuários regulares?

Sim, os pesos do modelo estão abertos. Você pode conversar com ela, por exemplo, em bate-papo NeuralSpacee experimente cenários baseados em agentes na seção "Código".

Então, a própria IA escreverá em breve um artigo científico?

Não tão rápido. Agentes autônomos lidam com confiança com tarefas onde há métricas claras e feedback rápido. Hipóteses, gostos e questionamentos ainda ficam por conta das pessoas. Mas a infraestrutura em torno dos modelos está atualmente sendo aprimorada de forma mais ativa, por isso vale a pena ficar de olho na direção.