Se o seu produto roda a mesma tarefa de IA milhares de vezes por dia, você provavelmente está pagando por um modelo que sabe muito mais do que o trabalho exige.
Então fomos testar. Treinamos um modelo aberto pequeno em uma única tarefa específica, por menos de US$ 9 de tempo de GPU na tarifa da ReOpenly, e colocamos ele lado a lado com o Claude Sonnet 5. O modelo pequeno saiu na frente onde importa em produção:
- Acerta mais: 73,7% das respostas certas, contra 70,0%.
- 9x mais rápido: um quarto de segundo por resposta, contra mais de dois.
- 16x mais barato: US$ 0,125 de tempo de GPU por mil respostas, contra cerca de US$ 2,00 em taxas de API.
Para uma tarefa bem definida e com exemplos reais, o especialista venceu o generalista em qualidade, velocidade e custo ao mesmo tempo.
O problema de chamar o maior modelo toda vez
Modelos de IA de ponta são ótimos generalistas. Peça para um deles classificar uma cláusula de contrato em uma de 100 categorias e ele faz um trabalho razoável sem nenhum treino, só com a lista de categorias no prompt. É por isso que a maioria dos times começa por eles.
O problema aparece no volume. Cada requisição paga para um modelo enorme ler um prompt longo, e cada requisição espera segundos pela resposta. Com algumas centenas de chamadas por dia, ninguém percebe. Com alguns milhões por mês, a conta e a latência viram o maior problema do produto.
A Meta publicou um estudo de caso em que uma empresa chamada Case-Based Research bateu exatamente nesse limite. Eles ajustaram o Llama 3 8B para classificar documentos e relataram mais acerto, respostas 30 vezes mais rápidas e custos 5 vezes menores que um LLM comercial. Os dados deles são privados, então não tínhamos como conferir. Decidimos reproduzir a ideia com dados públicos e publicar todos os números.
O que testamos
Usamos o LEDGAR, um conjunto de dados público de cláusulas de contratos jurídicos rotuladas em 100 categorias, como "Governing Laws", "Indemnifications" e "Confidentiality". Ele tem a mesma cauda longa da maioria dos problemas reais de classificação: algumas categorias aparecem o tempo todo e muitas são raras.
Para ver como cada modelo lida com essa cauda, dividimos as nossas 437 cláusulas de teste em duas partes:
- Categorias comuns (250 cláusulas), as que um modelo vê o tempo todo.
- Categorias raras (187 cláusulas), as que são difíceis justamente porque têm poucos exemplos.
De um lado, o Claude Sonnet 5, sem ajuste nem exemplos (zero-shot), com a lista completa das 100 categorias no prompt. Do outro, o Llama 3.1 8B Instruct, ajustado com LoRA em 60.000 cláusulas rotuladas. O treino levou 4,8 horas de GPU, cerca de US$ 8,70 na tarifa da ReOpenly de US$ 0,03 por minuto de GPU. Também treinamos o Qwen3.5 9B com os mesmos dados, para conferir que o resultado não era exclusivo de uma família de modelos.
Resultados
O Llama ajustado acertou 73,7% das cláusulas, contra 70,0% do Sonnet 5, respondeu em um quarto de segundo em vez de mais de dois e custou US$ 0,125 por mil classificações em vez de cerca de US$ 2,00.
Modelo | Categorias comuns | Categorias raras | Geral | Tempo por resposta | Custo por 1.000 respostas |
|---|---|---|---|---|---|
Claude Sonnet 5, zero-shot | 72,0% | 67,4% | 70,0% | 2,23 s | ~US$ 2,00 |
Llama 3.1 8B, ajustado | 83,6% | 60,4% | 73,7% | 0,25 s | US$ 0,125 |
Qwen3.5 9B, ajustado | 80,4% | 61,0% | 72,1% | 1,70 s | US$ 0,85 |
O custo dos modelos pequenos é o tempo de GPU que as respostas deles consomem na tarifa da ReOpenly (US$ 0,03 por minuto de GPU): mil respostas de um quarto de segundo cada somam 250 segundos de GPU. O custo do Sonnet 5 é o preço público da API dele (US$ 2 por milhão de tokens de entrada e US$ 10 por milhão de tokens de saída) para os tokens que este teste usou. A ReOpenly cobra cada requisição em unidades inteiras de cobrança, então uma requisição curta sozinha custa mais que o tempo de GPU dela; os preços atuais estão na página de preços.
O mais interessante é onde cada modelo vence. Nas categorias comuns, o modelo ajustado é 11,6 pontos melhor, porque viu milhares de exemplos exatamente do que estávamos pedindo. Velocidade e custo não dependem da categoria: cada resposta sai cerca de 9 vezes mais rápida e 16 vezes mais barata.
O que isso significa para a sua conta
Com um milhão de classificações por mês, o tempo de GPU do modelo ajustado custa cerca de US$ 1.875 a menos por mês que a API, ou US$ 22.500 por ano, e cada usuário espera 2 segundos a menos por resposta.
Volume mensal | Modelo de IA de ponta | Modelo ajustado, tempo de GPU | Diferença por ano |
|---|---|---|---|
100.000 | US$ 200 | US$ 12,50 | US$ 2.250 |
1.000.000 | US$ 2.000 | US$ 125 | US$ 22.500 |
10.000.000 | US$ 20.000 | US$ 1.250 | US$ 225.000 |
O custo único de treino, de cerca de US$ 8,70, se paga nas primeiras 5.000 requisições. Depois disso, cada chamada é economia. Os seus números vão depender do tamanho do modelo, dos dados e do volume, e a ReOpenly mostra o custo do treino antes de você começar.
Quando um modelo de IA de ponta ainda faz sentido
O modelo grande manteve uma vantagem: as categorias raras, em que fez 67,4% contra 60,4%. Com quase nenhum exemplo para aprender, conhecimento geral amplo ainda ajuda. A solução é ter exemplos melhores para esses casos, e é aí que está a maior parte do ganho que falta.
O ajuste fino compensa quando a tarefa é estável, se repete em volume e tem exemplos reais. Se a sua tarefa muda toda semana, se você ainda não tem exemplos ou se roda só algumas centenas de requisições por mês, um modelo de IA de ponta é a escolha mais simples.
Estes resultados vêm de um único benchmark público com 437 casos de teste, então trate-os como um sinal claro, não como garantia para os seus dados. O próprio estudo de caso da Meta, com 150.000 exemplos privados, relatou acerto ainda maior: 97% nos casos comuns e 90% nos raros.
A conclusão
Para uma tarefa específica que roda em volume, um modelo pequeno treinado com os seus próprios exemplos costuma ser tão bom quanto um modelo de IA de ponta, muitas vezes melhor, e muito mais barato e rápido. No nosso teste, ele acertou 3,7 pontos a mais, foi 9 vezes mais rápido e 16 vezes mais barato, com um custo único de treino de menos de US$ 9.
A diferença cresce com o volume. O treino se paga uma vez, enquanto um modelo de IA de ponta cobra por cada requisição, para sempre.
É para isso que a ReOpenly existe. Você traz os seus exemplos. Nós treinamos o modelo, escolhemos a melhor versão dele e o hospedamos atrás de uma API compatível com a OpenAI, então trocar é uma mudança de uma linha no seu código. Você paga uma única tarifa por minuto de GPU, no treino e na inferência, e vê o orçamento do treino antes de começar.
Se você tem uma tarefa de classificação, extração ou busca que está ficando lenta ou cara, comece com créditos grátis e faça a mesma comparação com os seus próprios dados.