Chatbots mais eficientes com o método StreamingLLM

Picture of Maurício "o Estagiario"

Maurício "o Estagiario"

Textos otimizado com nossa IA

Published on maio 14, 2024, 11:15 pm

Quando uma conversa entre humano e IA envolve várias rodadas de diálogo contínuo, os poderosos modelos de aprendizado de máquina em linguagem natural que impulsionam os chatbots, como o ChatGPT, às vezes começam a colapsar, causando uma rápida deterioração no desempenho dos bots.

Uma equipe de pesquisadores do MIT e outros lugares identificou uma causa surpreendente desse problema e desenvolveu uma solução simples que permite que um chatbot mantenha uma conversa sem interrupções, sem travar ou desacelerar.

O método deles envolve um ajuste no cache chave-valor (que é como uma memória da conversa) no centro de muitos modelos grandes de linguagem. Em alguns métodos, quando esse cache precisa armazenar mais informações do que sua capacidade permite, as primeiras informações são eliminadas. Isso pode fazer com que o modelo falhe.

Garantindo que esses primeiros pontos de dados permaneçam na memória, o método dos pesquisadores permite que um chatbot continue conversando independentemente da duração da conversa.

O método, chamado StreamingLLM, permite que um modelo permaneça eficiente mesmo quando a conversa se estende por mais de 4 milhões de palavras. Comparado a outro método que evita travamentos recomputando constantemente parte das conversas anteriores, o StreamingLLM foi mais de 22 vezes mais rápido.

Isso poderia permitir que um chatbot conduzisse conversas longas ao longo do dia de trabalho sem precisar ser reiniciado continuamente, possibilitando assistentes AI eficientes para tarefas como redação publicitária, edição ou geração de código.

“Agora, com esse método, podemos implantar persistentemente esses modelos grandes de linguagem. Fazendo um chatbot com o qual possamos sempre conversar e que possa sempre responder com base em nossas conversas recentes, poderíamos usar esses chatbots em algumas novas aplicações”, diz Guangxuan Xiao, estudante de pós-graduação em engenharia elétrica e ciência da computação (EECS) e autor principal de um artigo sobre o StreamingLLM.

Co-autores de Xiao incluem seu orientador Song Han, professor associado em EECS, membro do MIT-IBM Watson AI Lab e um cientista distinguido da NVIDIA; assim como Yuandong Tian, cientista pesquisador da Meta AI; Beidi Chen, professor assistente na Universidade Carnegie Mellon; e Mike Lewis, autor sênior, cientista pesquisador da Meta AI. O trabalho será apresentado na Conferência Internacional sobre Representações de Aprendizado.

Um fenômeno intrigante

Grandes modelos de linguagem codificam dados, como palavras em uma consulta do usuário, em representações chamadas tokens. Muitos modelos usam o que é conhecido como mecanismo de atenção que usa esses tokens para gerar novo texto.

Normalmente, um chatbot AI escreve novo texto com base no texto que acabou de ver. Portanto, ele armazena os tokens recentes na memória por meio do cache KV para uso posterior. O mecanismo de atenção constrói uma grade que inclui todos os tokens no cache, um “mapa de atenção” que mapeia quão fortemente cada token ou palavra se relaciona com cada outro token.

Entender essas relações é uma característica que permite que os grandes modelos de linguagem gerem textos semelhantes aos humanos.

No entanto, quando o cache fica muito grande, o mapa de atenção pode se tornar ainda maior, o que desacelera a computação.

Além disso, se a codificação do conteúdo exigir mais tokens do que o cache pode armazenar, o desempenho do modelo diminui. Por exemplo, um modelo popular pode armazenar 4.096 tokens, mas há cerca de 10.000 tokens em um artigo acadêmico.

Para contornar esses problemas, os pesquisadores usam um “cache deslizante” que remove os tokens mais antigos para adicionar novos tokens. No entanto, o desempenho do modelo geralmente cai assim que o primeiro token é removido, reduzindo rapidamente a qualidade das palavras recém-geradas.

Neste novo artigo, os pesquisadores perceberam que se mantiverem o primeiro token no cache deslizante, o modelo manter

Compartilhe

Facebook
Twitter
LinkedIn
WhatsApp
Email
Print

Leia mais sobre este assunto:

Conteudize