As equipas costumam perguntar qual escolher. A pergunta melhor é para que serve cada um. A recuperação dá ao modelo factos que ele não tinha quando foi treinado, e esses factos podem mudar esta tarde. O fine-tuning muda o comportamento: o formato, o vocabulário, o critério que o modelo aplica ao seu tipo de problema. Uma resposta errada por falta de um documento é um problema de recuperação. Uma resposta certa com a forma errada é um problema de fine-tuning.
| O que interessa | RAG | Fine-tuning |
|---|---|---|
| O que muda | O que o modelo sabe no momento em que pergunta | Como o modelo responde: tom, formato e critério |
| Atualizar | Reindexar o documento. Fica ativo em minutos. | Treinar e avaliar de novo. Dias, e uma versão nova para lançar. |
| Onde ficam os dados | No seu índice, recuperáveis e apagáveis documento a documento | Absorvidos nos pesos, e já não se separam |
| Mostrar a fonte | Cada resposta pode citar a passagem de onde veio | Sem citação; a resposta sai dos pesos |
| Perfil de custo | Barato de montar, pago por consulta na recuperação e no contexto | Mais caro no início, mais barato por consulta depois |
| Onde falha | Não corrige uma resposta bem fundamentada mas mal formatada | Não conhece um documento escrito depois do treino |
| Direito ao apagamento | Apaga o documento e a resposta deixa de aparecer | Apagar implica treinar de novo, porque os dados estão nos pesos |
Quando a recuperação é a resposta
- Os factos mudam: preços, políticas, stock, contratos, tudo o que tem versão.
- Precisa que cada resposta cite de onde veio.
- Uma pessoa tem de poder exigir o apagamento e isso produzir efeito real.
- Está a começar e quer algo útil em semanas, não em meses.
- O conhecimento é grande e cada pergunta só toca uma parte pequena.
Quando o fine-tuning compensa
- As respostas estão certas e a forma está errada: o seu formato, a sua terminologia, o seu estilo.
- A tarefa é estreita e repete-se milhares de vezes por dia, onde o custo por consulta domina.
- Tem exemplos anotados suficientes do comportamento que quer, e forma de distinguir melhor de pior.
- Um modelo mais pequeno, afinado, faria o trabalho que um grande está a fazer caro.
- O critério de que precisa é específico do seu domínio e nenhum prompt o reproduz de forma fiável.
Comece pela recuperação. Monta-se mais depressa, corrige-se mais facilmente, e mostra-lhe o que o sistema está mesmo a errar. Muito do que as equipas planeiam resolver com fine-tuning acaba por ser um problema de recuperação ou de prompt. Quando fizer fine-tuning, faça-o por cima de um sistema de recuperação que já funciona, e não em vez dele: o modelo aprende a forma, e a recuperação mantém os factos atuais.
Duas semanas de AI Discovery terminam com a resposta para o seu caso, os sistemas que toca e o que seria preciso. Ou comece pela avaliação de maturidade. Fazer a avaliação
O que perguntam antes de escolher.
Comece pela recuperação. Monta-se mais depressa, corrige-se mais facilmente e mostra-lhe o que o sistema está mesmo a errar. Muito do que as equipas planeiam resolver com fine-tuning acaba por ser um problema de recuperação ou de prompt.
Não de forma fiável, nem de forma que se possa atualizar. O fine-tuning molda a maneira de responder: o formato, o vocabulário, o critério. Os factos pertencem à recuperação, onde os pode mudar esta tarde e ver a resposta mudar com eles.
Não sem o treinar de novo. Depois de os dados entrarem nos pesos deixam de ser separáveis, por isso um pedido de apagamento obriga a reconstruir o modelo. Num sistema de recuperação apaga o documento e a resposta deixa de aparecer. Se o direito ao apagamento se aplica aos seus dados, é isso que decide a arquitetura.
Com recuperação, cada resposta pode citar a passagem de onde veio, que é como um leitor a confirma e como a equipa a depura. Um modelo afinado produz a resposta a partir dos pesos, sem fonte para apontar.
Quando as respostas estão certas e a forma está errada, quando a tarefa é estreita e se repete milhares de vezes por dia e o custo por consulta domina, e quando tem exemplos anotados suficientes e forma de distinguir melhor de pior. Faça-o por cima de um sistema de recuperação que já funciona, não em vez dele.
Traga-nos o problema que ninguém resolveu.
Somos uma equipa pequena de especialistas seniores. Escolhemos o modelo certo e a camada certa, e construímos o mínimo de maquinaria que resolve o problema. Tem uma chamada com um engenheiro, não um deck de vendas.