AWS libera memória compartilhada para reaproveitar cálculos de modelos de linguagem

Servidores ligados por cabos a gavetas de armazenamento compartilhado. Ilustração gerada por IA.

A Amazon Web Services anunciou em 18 de novembro a disponibilidade geral de um recurso do ElastiCache para Valkey destinado a organizações que hospedam os próprios modelos de linguagem. Ele armazena, em uma memória compartilhada entre servidores, resultados intermediários que o modelo produz ao processar a entrada. Com isso, outra máquina pode aproveitar o trabalho já feito quando uma nova consulta traz o mesmo trecho inicial.

Nos testes divulgados pela AWS, a redução chegou a 40% no custo de executar os modelos e a 80% no tempo até o primeiro token da resposta. Os ensaios incluíram assistentes de IA, agentes de programação e perguntas sobre documentos extensos. A empresa condiciona o ganho à frequência com que os dados procurados já se encontram na memória compartilhada.

Análise crítica sobre a notícia

Quando diferentes usuários consultam um mesmo documento, parte do processamento computacional acaba reproduzindo operações já realizadas, antes mesmo que o modelo alcance a pergunta específica de cada solicitação. É precisamente nessa etapa, pouco perceptível para quem utiliza o sistema, que o anúncio da AWS situa a possibilidade de reduzir os custos operacionais da inteligência artificial, uma economia cuja magnitude depende, sobretudo, da identificação daquilo que efetivamente se repete entre as consultas e pode, portanto, ser reaproveitado.

Em um serviço que recebe centenas de perguntas relacionadas ao mesmo manual, por exemplo, os cálculos realizados sobre suas páginas iniciais podem ser reutilizados, dispensando parte do processamento que seria exigido a cada nova solicitação. Situação diversa ocorre quando as consultas envolvem documentos sem trechos em comum, circunstância em que pouco haverá a recuperar de operações anteriores. Mesmo que o modelo empregado e o volume de tráfego permaneçam inalterados, a composição das entradas pode, por si mesma, determinar diferenças consideráveis no aproveitamento dos recursos computacionais.

Quando uma solicitação subsequente é encaminhada a outra máquina, surge uma dificuldade adicional: tornar acessíveis os resultados dos cálculos anteriormente realizados, independentemente de onde tenham sido processados. Compartilhar a memória entre os servidores permite que essas informações sejam recuperadas e utilizadas em novas consultas, embora a transferência pela rede também demande tempo e recursos. Para que a operação seja vantajosa, portanto, a economia proporcionada pelo processamento dispensado precisa compensar os custos envolvidos na recuperação dos dados, relação cujo equilíbrio depende das características do serviço e da frequência com que o conteúdo armazenado volta a ser solicitado.

Convém, igualmente, distinguir as etapas consideradas na avaliação de desempenho, pois antecipar a chegada do primeiro fragmento da resposta, embora melhore a percepção inicial de rapidez, representa apenas uma parcela do tempo necessário para concluir a interação. Depois desse primeiro resultado, o modelo ainda deverá produzir o texto restante, cuja extensão pode influenciar significativamente a duração total da consulta. Assim, a redução de até 80% divulgada pela AWS para a espera inicial precisa ser interpretada segundo o intervalo efetivamente medido, uma vez que esse percentual, isoladamente, não permite estabelecer quanto tempo será economizado na geração integral de uma resposta longa.

Para os operadores desses sistemas, os resultados apresentados pela AWS constituem uma hipótese passível de verificação nas condições concretas de seus próprios serviços. Ao examinar conjuntamente a frequência com que os cálculos são reaproveitados, o intervalo transcorrido até a chegada do primeiro fragmento e o custo total de cada consulta, torna-se possível avaliar em que medida a memória compartilhada proporciona ganhos efetivos de capacidade e eficiência. Dessa relação entre o trabalho computacional evitado e os recursos consumidos para recuperá-lo dependerá, em última instância, a justificativa técnica e econômica para sua adoção.

Anúncio e metodologia dos testes da AWS

Compartilhe esta publicação

Comentários

Mais visitadas

A gênese do sistema bancário brasileiro surge em Araçariguama

Descoberta de homem primitivo com cérebro pequeno derruba teoria sobre a evolução da inteligência

O Efeitos Nocivos das Telas no Desenvolvimento do Cérebro

Caso Léo Lins: entre a liberdade artística e os limites da dignidade humana

Experimentos Sombrios com IA

Futuro das IAs no Trabalho