A Akamai Cloud Inference nasce com o objetivo de marcar o começo de uma “era de inovação mais rápida e eficiente” para as empresas que buscam transformar modelos preditivos e de grandes linguagens (LLMs) baseados em IA em uma realidade. A Akamai Cloud Inference é uma solução que visa melhorar a eficiência, velocidade e custo das aplicações que utilizam inteligência artificial, facilitando a vida de empresas que trabalham com grandes volumes de dados.
A nova solução da Akamai oferece ferramentas para que engenheiros e desenvolvedores de plataformas construam e executem aplicações de IA e cargas de trabalho com grandes volumes de dados de forma mais próxima aos usuários finais, proporcionando um desempenho “três vezes melhor e reduzindo a latência em até 2,5 vezes”.
Com a nova solução, as empresas podem economizar até 86% em inferências de IA e cargas de trabalho de agentes de IA em comparação com a infraestrutura tradicional em hiperescala.
Akamai Cloud Inference abrange um amplo conjunto de computação, com CPUs clássicas e VPUs ASIC personalizadas, além de uma profunda integração com o ecossistema empresarial de inteligência artificial da Nvidia, beneficiando-se de Triton, Tao Toolkit, TensorRT e NvFlare.
Em matéria de gestão de dados, a Akamai se associou à VAST Data para fornecer acesso otimizado a dados em tempo real, acelerando as tarefas relacionadas à inferência, essenciais para oferecer resultados relevantes e uma experiência responsiva. Dessa forma, a companhia pode armazenar de forma segura dados de modelos ajustados e elementos de formação para oferecer inferência de IA de baixa latência em escala global.
Outro elemento chave para este sistema é a contenedorização das cargas de trabalho de IA, que permite o autoescalonamento com base na demanda, melhorando a resiliência das aplicações e a portabilidade híbrida-multicloud, otimizando ao mesmo tempo o desempenho e o custo.
Com Kubernetes, a Akamai pode oferecer uma inferência de IA “mais rápida, barata e segura, com desempenho em escala de petabytes”. Adicionalmente, para simplificar o método de criação de aplicações baseadas em IA pelos desenvolvedores, a Akamai AI Inference inclui capacidades WebAssembly (WASM), que permitem que os desenvolvedores executem inferências para LLM diretamente de aplicações sem servidor, possibilitando que os clientes executem código leve na borda para habilitar aplicações sensíveis à latência.
Juntas, essas ferramentas criam uma plataforma para aplicações de baixa latência e impulsionadas por IA, permitindo que as empresas ofereçam a experiência que seus usuários demandam. Akamai Cloud Inference opera na rede massivamente distribuída da empresa, capaz de entregar consistentemente mais de um petabyte por segundo de desempenho para cargas de trabalho intensivas em dados.
Francisco Arnau, vice-presidente da Akamai para a Espanha e Portugal, explica os conceitos-chave desta nova solução: “Criar um LLM é como elaborar um mapa: requer coletar dados, analisar o terreno e traçar rotas. É lento e consome muitos recursos, mas uma vez construído, é muito útil. A inferência de IA é como utilizar um GPS: aplica instantaneamente esses conhecimentos, recalcula em tempo real e se adapta às mudanças para te situar onde você precisa. A inferência é a próxima fronteira da IA.”
