Maximize a Eficiência do Claude 3 Sonnet: Economize Tokens e Aumente o Throughput com as Novas Atualizações da Anthropic

Você está buscando otimizar o uso do Claude 3 Sonnet, reduzir custos e aumentar a performance das suas aplicações de IA? A Anthropic acaba de lançar uma série de atualizações na sua API que prometem revolucionar a forma como você interage com o modelo, permitindo que você obtenha mais resultados com menos recursos.

Neste artigo, vamos explorar em detalhes as novas funcionalidades, como o aprimoramento do cache de prompt, os limites de taxa com reconhecimento de cache, o gerenciamento de cache simplificado, o uso eficiente de ferramentas e a nova ferramenta text_editor. Prepare-se para descobrir como essas inovações podem impulsionar seus projetos e levar sua experiência com o Claude 3 Sonnet para o próximo nível.

Aumento do Rendimento com o Cache de Prompt

O cache de prompt é uma técnica poderosa que permite armazenar e reutilizar contextos acessados frequentemente entre as chamadas da API. Imagine que você precisa que o Claude mantenha o conhecimento de grandes documentos, instruções ou exemplos. Sem o cache, você precisaria enviar essas informações repetidamente a cada solicitação, o que gera custos e aumenta a latência.

Com o cache de prompt, o Claude armazena essas informações e as reutiliza quando necessário, evitando o envio redundante de dados. Isso pode reduzir seus custos em até 90% e a latência em até 85% para prompts longos, tornando suas aplicações mais eficientes e econômicas.

A Anthropic lançou duas melhorias significativas para o cache de prompt do Claude 3.7 Sonnet:

• Redução de Custos e Latência: O cache de prompt pode reduzir custos em até 90% e a latência em até 85% para prompts longos.
• Melhorias Contínuas: Foram lançadas duas melhorias para o cache de prompt para Claude 3.7 Sonnet, que funcionam em conjunto para ajudar a escalar de forma mais eficiente.
• Otimização da Taxa de Transferência: O cache de prompt é otimizado para aumentar a taxa de transferência e obter mais de seus limites de taxa ITPM existentes.

Limites de Taxa com Reconhecimento de Cache

Uma das maiores barreiras para o escalonamento de aplicações de IA é o limite de taxa, que restringe o número de solicitações que você pode enviar à API em um determinado período de tempo. A Anthropic resolveu esse problema com os limites de taxa com reconhecimento de cache.

Agora, os tokens de leitura do cache de prompt não contam mais para o seu limite de Input Tokens Per Minute (ITPM) para Claude 3.7 Sonnet na API Anthropic. Isso significa que você pode otimizar o uso do cache de prompt para aumentar o rendimento, sem se preocupar em atingir o limite de taxa.

Essa funcionalidade é especialmente útil para aplicações que exigem alto rendimento e lidam com grandes volumes de dados, como:

• Plataformas de análise de documentos que precisam manter grandes bases de conhecimento em contexto.
• Assistentes de codificação que referenciam bases de código extensas.

Gerenciamento de Cache Mais Simples

Gerenciar o cache de prompt pode ser complexo, especialmente quando você precisa lidar com diferentes segmentos de cache e pontos de interrupção. A Anthropic simplificou esse processo com uma atualização inteligente.

Agora, quando você define um ponto de interrupção do cache, o Claude lê automaticamente do seu prefixo armazenado em cache mais longo anteriormente. Isso significa que você não precisa mais rastrear e especificar manualmente quais segmentos armazenados em cache usar. O sistema identifica e usa automaticamente o conteúdo armazenado em cache mais relevante, liberando mais tokens e reduzindo sua carga de trabalho.

Essa funcionalidade está disponível tanto na API Anthropic quanto no Vertex AI do Google Cloud, tornando-a acessível a uma ampla gama de desenvolvedores.

Uso Eficiente de Ferramentas de Token

A capacidade de equipar o Claude com suas próprias ferramentas personalizadas é um recurso poderoso que permite automatizar tarefas complexas e extrair informações valiosas de dados não estruturados. A Anthropic aprimorou essa funcionalidade com o uso eficiente de ferramentas de token.

O Claude 3.7 Sonnet agora oferece suporte a chamadas de ferramentas de maneira eficiente em termos de tokens, reduzindo o consumo de tokens de saída em até 70%. Os primeiros usuários já viram uma redução de 14% em média.

Para usar esse recurso, basta adicionar o cabeçalho beta token-efficient-tools-2025-02-19 a uma solicitação de uso de ferramenta com Claude 3.7 Sonnet. Se você estiver usando o SDK, certifique-se de que está usando o SDK beta com anthropic.beta.messages.

O uso eficiente de ferramentas de token está atualmente disponível em versão beta na API Anthropic, Amazon Bedrock e Vertex AI do Google Cloud.

Ferramenta text_editor

A colaboração entre humanos e IA está se tornando cada vez mais comum. Para facilitar essa colaboração, a Anthropic apresentou a nova ferramenta text_editor.

Com a ferramenta text_editor, o Claude pode fazer edições direcionadas a partes específicas do texto dentro do código-fonte, documentos ou relatórios de pesquisa. Isso reduz o consumo de tokens e a latência, ao mesmo tempo em que aumenta a precisão.

Os desenvolvedores podem implementar facilmente esta ferramenta em seus aplicativos, fornecendo-a em suas solicitações de API e lidando com as respostas de uso da ferramenta. A ferramenta text_editor está disponível na API Anthropic, Amazon Bedrock e Google Cloud’s Vertex AI.

Destaque do Cliente: Cognition

A Cognition, um laboratório de IA aplicada e criador de Devin, um colega de equipe de IA colaborativo, está aproveitando as novas atualizações da Anthropic API para melhorar a eficiência de tokens e a qualidade da resposta.

“O cache de prompt nos permite fornecer mais contexto sobre a base de código para obter resultados de maior qualidade, ao mesmo tempo em que reduzimos o custo e a latência”, disse Scott Wu, cofundador e CEO da Cognition. “Com os limites de ITPM com reconhecimento de cache, estamos otimizando ainda mais o uso do cache de prompt para aumentar nosso rendimento e obter mais de nossos limites de taxa existentes.”

Comece Agora

Esses recursos estão disponíveis hoje para todos os clientes da API Anthropic. Você pode implementá-los imediatamente com alterações mínimas no código.

• Aproveite os limites de taxa com reconhecimento de cache: Use o cache de prompt com Claude 3.7 Sonnet.
• Implemente o uso eficiente de ferramentas de token: Adicione o cabeçalho beta token-efficient-tools-2025-02-19 às suas solicitações e comece a economizar tokens.
• Experimente a ferramenta text_editor: Integre-a em seus aplicativos para fluxos de trabalho de edição de documentos mais eficientes.

As atualizações na API da Anthropic para Claude 3.7 Sonnet visam otimizar o uso de tokens, reduzir custos e aumentar a eficiência. O cache de prompt, os limites de taxa com reconhecimento de cache e o uso eficiente de ferramentas são os principais componentes dessas melhorias, permitindo que os desenvolvedores aproveitem ao máximo o Claude 3.7 Sonnet.

As melhorias no cache de prompt e no uso de ferramentas estão interligadas para proporcionar uma experiência mais eficiente e econômica. O cache de prompt reduz a necessidade de enviar informações repetidas, enquanto o uso eficiente de ferramentas minimiza o consumo de tokens.

Essas atualizações podem levar a aplicações de IA mais acessíveis e escaláveis, permitindo que mais empresas e desenvolvedores aproveitem os recursos do Claude 3.7 Sonnet. A contínua otimização do uso de tokens e a introdução de novas ferramentas podem impulsionar a inovação e a adoção da IA em diversos setores.

Não perca tempo! Comece a explorar as novas funcionalidades da Anthropic API hoje mesmo e leve seus projetos de IA para o próximo nível.

Fonte: Anthropic. Título: Atualizações na API da Anthropic para economia de tokens. Data: 2023-10-01. Link: https://www.anthropic.com/news/token-saving-updates.