Chatbots contínuos: pesquisadores do MIT desenvolvem solução para melhorar a qualidade das conversas

Picture of Maurício "o Estagiario"

Maurício "o Estagiario"

Textos otimizado com nossa IA

Published on maio 11, 2024, 11:14 am

Você já deve ter conversado com chatbots em várias ocasiões, não é mesmo? Esses assistentes virtuais utilizam inteligência artificial para manter uma conversa com os usuários. No entanto, algumas vezes esses chatbots podem apresentar falhas e a qualidade da conversa rapidamente se deteriora.

No entanto, pesquisadores do MIT e de outras instituições descobriram um problema surpreendente relacionado a essa questão e desenvolveram uma solução simples que permite aos chatbots manterem uma conversa contínua sem travar ou diminuir o desempenho.

Essa solução envolveu fazer pequenas alterações no cache chave-valor (uma memória de conversação) presente em diversos modelos de grandes linguagens de aprendizado automático. Em alguns métodos, quando esse cache precisa armazenar mais informações do que suporta, as primeiras informações são removidas. Isso pode fazer com que o modelo falhe.

No entanto, ao garantir que essas primeiras informações permaneçam na memória, o método desenvolvido pelos pesquisadores permite que o chatbot continue conversando independentemente da duração da conversa.

Esse método chamado StreamingLLM tornou possível que um modelo seja eficiente mesmo em conversas com mais de 4 milhões de palavras. Em comparação com outro método que evita travamentos recomputando constantemente parte das conversas anteriores, o StreamingLLM foi mais de 22 vezes mais rápido.

Imagine poder utilizar chatbots para realizar longas tarefas ao longo do dia sem precisar reiniciá-los frequentemente! Isso poderia melhorar a eficiência dos assistentes virtuais em áreas como redação, edição e geração de código.

De acordo com Guangxuan Xiao, estudante de pós-graduação em engenharia elétrica e ciência da computação do MIT e autor principal do artigo sobre o StreamingLLM, “com esse método, agora podemos implantar esses modelos de grandes linguagens de forma persistente. Ao criar um chatbot com que possamos sempre conversar e que possa sempre responder com base em nossas conversas recentes, podemos usar esses assistentes virtuais em diversas novas aplicações”.

Os coautores de Xiao incluem seu orientador, Song Han, professor associado no departamento de engenharia elétrica e ciência da computação do MIT, membro do MIT-IBM Watson AI Lab e cientista distinto da NVIDIA; além de Yuandong Tian, cientista pesquisador na Meta AI; Beidi Chen, professor assistente na Universidade Carnegie Mellon; e Mike Lewis, cientista pesquisador na Meta AI.

Esse trabalho será apresentado na Conferência Internacional sobre Representações de Aprendizado.

Uma questão curiosa levantada pelos pesquisadores é por que a primeira palavra em uma conversa é tão importante para que o modelo gere as próximas palavras. Isso não fazia sentido à primeira vista, já que a primeira palavra provavelmente não tem relação direta com a última palavra da conversa.

Ao investigarem isso em detalhes, os pesquisadores descobriram algo interessante. Alguns modelos utilizam uma operação chamada Softmax em seu mecanismo de atenção. Essa operação atribui uma pontuação para cada palavra representando o quanto ela está relacionada com todas as outras palavras na conversa.

Acontece que essa operação requer que todas as pontuações sejam somadas e resultem em 1. Como a maioria das palavras não possui uma relação forte com as outras, as pontuações de atenção são muito baixas. As sobras dessas pontuações costumam ser descartadas na primeira palavra.

Os pesquisadores chamaram a primeira palavra de “pia de atenção”. Ela é importante porque todas as outras palavras podem vê-la. Portanto, os pesquisadores descobriram que manter essa pia de atenção no cache é essencial para garantir o bom desempenho do modelo.

Ao construir o StreamingLLM, os pesquisadores perceberam que ter quatro palavras na pia de atenção no início do cache leva ao melhor desempenho possível.

Eles também constataram que a codificação posicional de cada palavra precisa ser mantida mesmo quando novas palavras são adicionadas ou outras são removidas. Por exemplo, se a quinta palavra é removida, a sexta palavra deve continuar sendo codificada como a sexta, mesmo que

Compartilhe

Facebook
Twitter
LinkedIn
WhatsApp
Email
Print

Leia mais sobre este assunto:

Conteudize