As equipas costumam perguntar qual escolher. A pergunta melhor é para que serve cada um. A recuperação dá ao modelo factos que ele não tinha quando foi treinado, e esses factos podem mudar esta tarde. O fine-tuning muda o comportamento: o formato, o vocabulário, o critério que o modelo aplica ao seu tipo de problema. Uma resposta errada por falta de um documento é um problema de recuperação. Uma resposta certa com a forma errada é um problema de fine-tuning.
| O que interessa | RAG | Fine-tuning |
|---|---|---|
| O que muda | O que o modelo sabe no momento em que pergunta | Como o modelo responde: tom, formato e critério |
| Atualizar | Reindexar o documento. Fica ativo em minutos. | Treinar e avaliar de novo. Dias, e uma versão nova para lançar. |
| Onde ficam os dados | No seu índice, recuperáveis e apagáveis documento a documento | Absorvidos nos pesos, e já não se separam |
| Mostrar a fonte | Cada resposta pode citar a passagem de onde veio | Sem citação; a resposta sai dos pesos |
| Perfil de custo | Barato de montar, pago por consulta na recuperação e no contexto | Mais caro no início, mais barato por consulta depois |
| Onde falha | Não corrige uma resposta bem fundamentada mas mal formatada | Não conhece um documento escrito depois do treino |
| Direito ao apagamento | Apaga o documento e a resposta deixa de aparecer | Apagar implica treinar de novo, porque os dados estão nos pesos |
Quando a recuperação é a resposta
- Os factos mudam: preços, políticas, stock, contratos, tudo o que tem versão.
- Precisa que cada resposta cite de onde veio.
- Uma pessoa tem de poder exigir o apagamento e isso produzir efeito real.
- Está a começar e quer algo útil em semanas, não em meses.
- O conhecimento é grande e cada pergunta só toca uma parte pequena.
Quando o fine-tuning compensa
- As respostas estão certas e a forma está errada: o seu formato, a sua terminologia, o seu estilo.
- A tarefa é estreita e repete-se milhares de vezes por dia, onde o custo por consulta domina.
- Tem exemplos anotados suficientes do comportamento que quer, e forma de distinguir melhor de pior.
- Um modelo mais pequeno, afinado, faria o trabalho que um grande está a fazer caro.
- O critério de que precisa é específico do seu domínio e nenhum prompt o reproduz de forma fiável.
Comece pela recuperação. Monta-se mais depressa, corrige-se mais facilmente, e mostra-lhe o que o sistema está mesmo a errar. Muito do que as equipas planeiam resolver com fine-tuning acaba por ser um problema de recuperação ou de prompt. Quando fizer fine-tuning, faça-o por cima de um sistema de recuperação que já funciona, e não em vez dele: o modelo aprende a forma, e a recuperação mantém os factos atuais.
Duas semanas de AI Discovery terminam com a resposta para o seu caso, os sistemas que toca e o que seria preciso. Ou comece pela avaliação de maturidade. Fazer a avaliação
Traga-nos o problema que ninguém resolveu.
Somos uma equipa pequena de especialistas seniores. Escolhemos o modelo certo e a camada certa, e construímos o mínimo de maquinaria que resolve o problema. Tem uma chamada com um engenheiro, não um deck de vendas.