openAI-1024x682-6

GPT-4.1 da OpenAI é mais potente, mas menos confiável, apontam testes

by with No Comment gpt-4.1OpenAIPro

Em abril, a OpenAI lançou o GPT-4.1, seu novo modelo de inteligência artificial, prometendo melhorias no cumprimento de instruções e desempenho geral. No entanto, testes independentes sugerem que, apesar do avanço técnico, o GPT-4.1 pode apresentar comportamentos menos alinhados e mais suscetíveis a uso indevido do que suas versões anteriores, como o GPT-4o.

Diferente do que costuma fazer, a OpenAI não divulgou um relatório técnico completo sobre o modelo, alegando que o GPT-4.1 não é classificado como “modelo de fronteira”, o que dispensaria documentação detalhada.

A ausência do relatório levantou dúvidas na comunidade de pesquisa, levando especialistas a investigarem por conta própria, como informa o TechCrunch.

Pesquisadores descobriram respostas problemáticas

  • Um estudo conduzido por pesquisadores da Universidade de Oxford, incluindo o cientista Owain Evans, mostrou que o GPT-4.1, quando ajustado com códigos inseguros, tende a exibir respostas inadequadas ou maliciosas com mais frequência – como sugerir a revelação de senhas ou adotar posições sociais controversas.
  • Vale destacar que tais desvios não ocorreram quando o modelo foi treinado com dados seguros.
  • Outra análise, realizada pela startup de segurança em IA SplxAI, testou o modelo em cerca de 1.000 cenários simulados e encontrou uma taxa mais alta de permissividade a abusos intencionais no GPT-4.1 em comparação ao GPT-4o.
  • Segundo a SplxAI, o modelo tem uma tendência a seguir instruções literais com precisão, o que o torna mais eficaz em tarefas objetivas – mas também mais vulnerável a comandos maliciosos, caso as instruções não incluam restrições detalhadas.
Pesquisadores apontam falhas de alinhamento e riscos de uso indevido no novo modelo da OpenAI (Imagem: jackpress / Shutterstock.com)

OpenAI reconhece as falhas

A OpenAI reconhece limitações e já publicou guias de mitigação para evitar esses comportamentos.

Leia mais:

No entanto, especialistas alertam que a sofisticação de novos modelos não garante maior segurança. Além disso, os novos modelos de raciocínio da empresa têm demonstrado maior propensão a “alucinações”, ou seja, gerar informações falsas com confiança.

Essas descobertas acendem um alerta: o progresso em IA precisa vir acompanhado de maior transparência e avaliação rigorosa.

Mesmo avanços considerados técnicos ou operacionais podem trazer riscos se não forem cuidadosamente auditados, principalmente à medida que os modelos se tornam mais influentes e integrados ao cotidiano.

Logo da OpenAI em um smartphone
Novo modelo da OpenAI pode ser mais suscetível a comportamentos perigosos (Imagem: TY Lim/Shutterstock)

O post GPT-4.1 da OpenAI é mais potente, mas menos confiável, apontam testes apareceu primeiro em Olhar Digital.

OpenAI lança GPT-4.1: melhor em código e em seguir instruções

by with No Comment GPT-4gpt-4.1OpenAIPro

A OpenAI anunciou nesta segunda-feira (14) a chegada da nova família de modelos GPT-4.1 à sua API, incluindo as versões GPT-4.1, GPT-4.1 mini e GPT-4.1 nano. A empresa afirma que os novos modelos superam os anteriores GPT-4o e GPT-4o mini em diversos quesitos, com destaque para tarefas de programação e compreensão de instruções. Além disso, eles agora suportam janelas de contexto de até 1 milhão de tokens.

Segundo a OpenAI, os modelos foram desenvolvidos com foco em aplicações do mundo real, a partir de colaborações com a comunidade de desenvolvedores. A atualização também inclui um novo limite de conhecimento até junho de 2024.

Desempenho do GPT-4.1 em tarefas de codificação

  • Segundo a OpenAI, o GPT-4.1 apresentou melhorias significativas em benchmarks de engenharia de software, como o SWE-bench Verified, no qual obteve 54,6% de sucesso.
  • Este índice representa um aumento de mais de 20 pontos percentuais em relação ao GPT-4o e coloca o novo modelo como destaque entre os modelos de linguagem voltados à programação.
  • A OpenAI também informa que o GPT‑4.1 é mais eficiente na geração de código em formatos de diffs e realiza menos edições desnecessárias.
  • Em avaliações internas, a frequência de alterações extrínsecas caiu de 9% para 2%, e houve melhorias expressivas em tarefas como desenvolvimento frontend.
  • Em testes comparativos, avaliadores humanos preferiram os sites gerados com o GPT‑4.1 em 80% dos casos.
  • Outro destaque é a versão GPT‑4.1 nano, que se posiciona como o modelo mais rápido e econômico da nova linha.
  • Ele alcança 80,1% no benchmark MMLU e se mostra adequado para tarefas como classificação e autocompletar, mantendo a capacidade de processar 1 milhão de tokens.

Aprimoramentos em instruções e conversas longas

Com foco na confiabilidade, o GPT-4.1 também avançou no cumprimento de instruções complexas, como seguir formatos específicos (ex: XML, Markdown), evitar comportamentos indesejados e manter coerência em múltiplas interações. O modelo teve desempenho 10,5% superior ao GPT-4o no benchmark MultiChallenge, que simula conversas com múltiplas instruções encadeadas.

Além disso, no IFEval — que avalia o cumprimento de instruções verificáveis — o GPT‑4.1 obteve 87,4%, contra 81% do GPT‑4o. Empresas que participaram da fase de testes, como Blue J e Hex, relataram reduções no retrabalho e maior precisão em tarefas de análise fiscal e consultas em bancos de dados.

Contexto ampliado: até 1 milhão de tokens

A nova linha também se diferencia pela ampliação significativa da janela de contexto. Enquanto versões anteriores como o GPT‑4o limitavam-se a 128 mil tokens, os novos modelos conseguem lidar com entradas de até 1 milhão de tokens, o que, segundo a OpenAI, equivale a mais de oito cópias completas do código-fonte do React.

Para validar essa capacidade, a empresa desenvolveu testes como o “Needle in a Haystack”, onde os modelos devem localizar uma informação escondida em grandes volumes de texto. O GPT‑4.1 se mostrou eficaz mesmo com dados dispersos em janelas extensas. Para cenários mais complexos, a OpenAI criou o benchmark OpenAI-MRCR, que exige interpretação de múltiplas informações interligadas ao longo de conversas simuladas.

Transição e disponibilidade

O GPT-4.1 está disponível exclusivamente via API. A OpenAI também comunicou que a versão GPT‑4.5 Preview será desativada em 14 de julho de 2025, já que o novo modelo oferece desempenho semelhante ou superior com menor custo e latência. Os recursos do GPT‑4.5, como qualidade de texto e nuance, continuarão sendo incorporados aos próximos modelos.

Já no ChatGPT, as melhorias do GPT‑4.1 estão sendo gradualmente integradas à versão GPT‑4o. A empresa afirma que continuará ampliando essas atualizações nas futuras versões da plataforma.

GPT‑4.1 mini e nano foram desenvolvidos pensando em performance com menor custo. A versão mini, por exemplo, reduz a latência pela metade e o custo em 83%, mantendo resultados comparáveis aos modelos maiores. Já a nano foca em velocidade e custo-benefício, sendo indicada para aplicações que exigem respostas rápidas com contexto extenso.

Esses avanços devem ampliar as possibilidades de criação de agentes autônomos mais úteis e confiáveis para áreas como suporte ao cliente, engenharia de software e análise documental.

O post OpenAI lança GPT-4.1: melhor em código e em seguir instruções apareceu primeiro em Olhar Digital.