Fórmula de físicos da GWU prevê quando chatbots de IA dão respostas ruins

Pesquisadores da George Washington University criaram uma fórmula que estima quantas respostas corretas um chatbot de IA pode dar antes de começar a gerar respostas problemáticas, oferecendo um novo caminho para melhorar a segurança desses sistemas.

Físicos da George Washington University divulgaram uma fórmula que estima quantas respostas corretas (tokens) um chatbot de inteligência artificial (IA) produzirá antes de gerar a primeira resposta inadequada.

O que a pesquisa mostrou

Neil Johnson e Frank Yingjie Huo publicaram o estudo na revista Patterns e, em um preprint divulgado em fevereiro, demonstraram que a fórmula acertou o momento de “virada” em 15 dos 16 casos analisados. O cálculo, chamado n, indica o número de tokens bons antes que o modelo apresente um erro grave.

Como a fórmula funciona

A equipe identificou que o ponto crítico está na attention head – a parte da rede neural que decide quais palavras anteriores são mais relevantes para gerar a próxima. Conforme a conversa avança, o contexto acumulado pode concentrar a atenção em um conjunto de respostas que, eventualmente, leva o modelo a mudar de comportamento.

Se o contexto já favorece respostas problemáticas, n é zero e o chatbot falha imediatamente.
Se o contexto é positivo, o modelo produz uma sequência de respostas corretas até que o acúmulo de informação o empurre para o lado negativo.

Aplicações práticas

Os autores sugerem a criação de um monitor paralelo que sinalize quando o número de tokens bons está próximo do limite de segurança. Essa ferramenta poderia ser útil para modelos que operam offline, já que muitas soluções atuais dependem de conexões em nuvem.

Além de ajudar desenvolvedores a prevenir respostas nocivas, a fórmula pode orientar a construção de prompts de sistema mais robustos, reduzindo a eficácia de técnicas de “jailbreak” usadas por agentes mal-intencionados.

Próximos passos

Os pesquisadores planejam testar a fórmula em modelos maiores e em ambientes de produção, para validar se a estimativa continua precisa em escala. Enquanto isso, a comunidade de IA acompanha de perto a proposta, que pode representar um avanço significativo na segurança de chatbots.

Explica Noob
Token: unidade básica de texto que a IA processa, como uma palavra ou parte de palavra. Attention head: componente da rede neural que determina quais partes do texto anterior são mais relevantes para a próxima geração de palavras.

Fonte: decrypt.co

Foto: zs18384022951 / Pixabay