Sam Altman sobre AGI: Dimensionar grandes modelos de linguagem não é suficiente

É improvável que grandes modelos de linguagem por si só levem à AGI, diz Sam Altman. Encontrar a solução é o próximo desafio da OpenAI.

O CEO e cofundador da OpenAI deu uma palestra e respondeu a perguntas como parte do 2023 Hawking Fellowship Award, que ele aceitou em nome da equipe. As perguntas dos estudantes de Cambridge incluíram o papel do código aberto, segurança da IA, conscientização e, finalmente, o papel do dimensionamento no caminho para a Inteligência Geral Artificial (AGI).

Quando questionado se uma maior escala de grandes modelos de linguagem levaria à AGI, Altman respondeu que embora os modelos tenham feito grandes progressos e ele veja muito potencial, é muito provável que seja necessário outro avanço. Embora GPT-4 tem capacidades impressionantes, mas também tem fraquezas que deixam claro que a AGI ainda não foi alcançada.

“Acho que precisamos de outro avanço. Podemos impulsionar bastante os grandes modelos de linguagem, e deveríamos, e faremos isso. Podemos pegar nossa colina atual em que estamos e continuar subindo, e o pico disso ainda está muito longe. Mas dentro do razoável, se você levar isso muito longe, talvez todas essas outras coisas tenham surgido. Mas dentro do razoável, não acho que isso fará algo que considero crítico para uma inteligência geral”, disse Altman. .

Ele usou a física para ilustrar seu ponto de vista: “Vamos usar a palavra superinteligência agora, já que a superinteligência não pode descobrir novas físicas, não acho que seja uma superinteligência. Treinamento com base nos dados do que você sabe, ensinando a clonar o comportamento dos humanos e texto humano, não acho que isso vá chegar lá. Portanto, há uma questão que tem sido debatida na área há muito tempo: o que precisamos fazer além de um modelo de linguagem para criar um sistema que possa funcionar descobrir uma nova física? E essa será nossa próxima missão.”

O crítico de aprendizagem profunda Gary Marcus traduziu a declaração de Altman como “A aprendizagem profunda está atingindo uma parede”. Segundo Marcus, as redes às vezes podem generalizar, mas nunca de forma confiável. Chefe de IA da Meta Yann LeCun, por outro lado, traduziu-o em “O escalonamento de LLMs auto-regressivos está gerando retornos decrescentes”. Ele ainda vê o aprendizado profundo como base – embora com arquiteturas e objetivos de treinamento diferentes, semelhantes aos JEPA.

Altman: “Segurança em teoria é fácil”

Quando questionado sobre o papel do código aberto, Altman expressou apoio aos modelos de código aberto em princípio, mas alertou sobre os riscos potenciais de tornar cada modelo disponível abertamente sem testes e conhecimento completos.

“Acho que o código aberto é bom e importante”, disse Altman, “mas também acredito que a precaução é muito boa, discordo respeitosamente que deveríamos abrir o código instantaneamente para cada modelo que treinamos”, respondendo a perguntas sobre Entrevista recente de Andrew Ngs sobre regulamentos de IA.

A questão da segurança também apareceu na apresentação de Altman e nas perguntas. Ele reiterou a importância de desenvolver a IA de forma segura e alinhada com os valores humanos e explicou a abordagem da OpenAI, que se baseia em testes, especialistas externos, sistemas e ferramentas de monitoramento de segurança e melhores práticas.

“Segurança em teoria é fácil. O difícil é criar um sistema que seja realmente útil para centenas de milhões de pessoas e que seja seguro”, disse Altman. “Não dá para fazer esse trabalho só na teoria; tem que fazer em contato com a realidade”.

Ele também falou sobre a importância da cooperação global na regulamentação da IA, sugerindo que um regulador global, semelhante à Autoridade Reguladora Nuclear, poderá ser necessário no futuro.

from Tecnologico.online https://ift.tt/tC5A0OL