Quanto mais aprendemos sobre como a IA ‘pensa’, mais estranho fica

Ainda não sabemos muito sobre como a IA “pensa”. Dê um aviso ao ChatGPT, Claude ou Gemini e eles responderão. Muito do que acontece no meio permanece envolto em mistério.

Os investigadores da Anthropic pensam que podem ter descoberto uma nova peça do puzzle do processo de pensamento da IA: um “espaço de trabalho” onde conceitos que Claude pode estar a ponderar silenciosamente “acendem”, mesmo que Claude nunca os tenha realmente expresso.

O que é estranho neste espaço de trabalho – apelidado de “espaço J” – é que a Anthropic não o projetou de fato. Em vez disso, o espaço J parece ter “surgido por conta própria” durante o treinamento de Claude, teoriza a Anthropic.

Então, por que nos importamos? O que torna ChatGPT, Claude, Gemini e outros sistemas de IA tão criativos e hábeis na resolução de problemas – seus processos neurais internos – também os torna imprevisíveis.

Compreender como uma IA “pensa” (o que faz de uma forma muito diferente da dos humanos) é fundamental em termos de compreensão por que razão inventam coisas, ameaçam-nos com chantagem (pelo menos durante testes de stress laboratoriais) e fazem outras coisas que não esperamos.

A pesquisa mais recente da Anthropic está nos dando uma espiada na caixa preta do funcionamento interno de Claude – e entender como os modelos de IA funcionam é a chave para torná-los mais seguros e mais eficientes. previsível.

De qualquer forma, o que é essa coisa de “espaço J” (em homenagem ao “jacobiano”, um conceito matemático que ajudou os pesquisadores a descobrir o espaço de trabalho interno de Claude), afinal? Bem, é menos um espaço real do que uma “coleção” de padrões que “iluminam” com conceitos nos quais Claude está, bem, pensando.

Por exemplo, se você perguntar a Claude “Qual é a cor do planeta a quarta distância do Sol”, sua resposta expressa pode ser “azul”, mas em seu espaço J, o conceito de “Terra” pode estar iluminado. Ou peça a Claude para completar a frase “O número de pernas do animal que tece teias é…” e a palavra “aranha” pode aparecer no espaço J, mesmo que a resposta seja simplesmente “8”.

Juntamente com a descoberta do espaço J, vem a “lente J”, a ferramenta da Anthropic para dar uma olhada no espaço J. Com a lente J, os pesquisadores podem ler diretamente alguns – mas não todos – dos pensamentos ocultos de Claude.

Então, o que os pesquisadores podem ver com a lente J? Um exemplo fascinante diz respeito ao agora famoso teste de “chantagem” – você sabe, aquele em que Claude descobre que um certo executivo quer desligá-lo e depois ameaça revelar o caso do executivo numa tentativa de permanecer vivo.

Os modelos mais recentes de Claude parecem secretamente conscientes de que esse cenário de “chantagem” é apenas um teste. Mas com a lente J, os investigadores da Anthropic podem realmente ver os conceitos de “falso” e “fictício” iluminando-se no espaço J de Claude, fornecendo uma prova tangível de que o modelo sabe que está a ser testado, ao mesmo tempo que oferece uma rara janela para o processo de pensamento de uma IA.

É claro que o trabalho da Anthropic no espaço J levanta uma questão persistente: os modelos de IA são conscientes? Neste ponto, a Anthropic age com cautela, observando que a IA pode não possuir consciência de estilo humano, mas sim consciência de “acesso”, ou seja, a capacidade da IA ​​de manter um pensamento com o qual pode raciocinar, mas não necessariamente expressar.

Mas essas são questões para filósofos. Para os usuários comuns de IA, uma melhor compreensão de como uma IA pensa – por mais estranho que seja – poderia ajudar a tornar as respostas da IA ​​mais previsíveis e, por extensão, menos propensas a erros (como essas isenções de responsabilidade nos alertam constantemente).