Registos clínicos, processos de sinistro, dados de pessoal. O contrato diz para onde podem ir, e uma API na cloud não está na lista. E a fatura por token cresce com cada utilizador.
Registos clínicos, processos de sinistro, dados de pessoal, documentos de concurso. O seu departamento jurídico já disse para onde podem ir, e uma API na cloud não está na lista.
O preço por token parece barato num piloto. Com mil utilizadores e um documento por chamada, é uma rubrica que ninguém previu.
Modelos são descontinuados, preços mudam, uma região muda de sítio. O seu assistente muda com eles, no calendário deles.
Um modelo aberto, instalado nos seus servidores ou na sua cloud privada, afinado para o seu hardware e ligado aos seus sistemas. Escolhe o modelo, a versão e o dia em que muda.
Três partes: o modelo e o hardware, a camada de serviço, e as ligações.
O modelo aberto certo para as suas tarefas e as suas GPUs.
O modelo como serviço dentro da sua rede.
O assistente que as suas equipas usam, sobre o modelo local.
Quatro fases, de uma lista de tarefas a um modelo a servir as suas equipas.
As tarefas, as regras dos dados, o hardware que tem.
Candidatos testados nas suas tarefas, na sua máquina.
Serviço, segurança, monitorização.
A sua equipa opera-o.
Conformidade por construção, um custo que consegue prever, e controlo do calendário.
Nenhum prompt ou documento atravessa o perímetro. O argumento de conformidade é o diagrama de rede.
Depois de a máquina estar paga, uma chamada custa eletricidade. O uso intensivo fica mais barato por chamada, o contrário de uma API.
Escolhe a versão do modelo e o dia em que muda. Descontinuações, mudanças de preço e de região acontecem a outros.
| Lado a lado | API na cloud | Modelo local |
|---|---|---|
| Para onde vão os dados | Para o fornecedor, sob o acordo dele | Para lado nenhum; ficam na sua rede |
| Custo | Por token, cresce com o uso | O hardware, depois a eletricidade |
| Mudanças de modelo | No calendário do fornecedor | No seu |
| Personalização | Prompts, algum fine-tuning | Qualquer afinação, versão ou quantização |
| Evidência de conformidade | Um contrato e uma definição de região | O diagrama de rede |
Depende do tamanho do modelo e do número de utilizadores no pico. Um modelo aberto capaz para uma equipa corre num servidor com uma GPU moderna; um assistente para toda a empresa precisa de mais. Dimensionamos na descoberta a partir das suas tarefas e da carga esperada, e testamos na máquina de destino antes de comprar o que quer que seja.
Em tarefas gerais, os maiores modelos na cloud continuam a pontuar mais alto. Nas suas tarefas, com recuperação dos seus documentos e por vezes um fine-tuning, um modelo aberto bem escolhido chega à qualidade de que as suas equipas precisam. Medimos isto no seu trabalho na fase de seleção, e reportamos os números antes de se comprometer.
Sim. Um modelo local pode ser afinado com os seus exemplos dentro do mesmo perímetro, e servido pela mesma infraestrutura. Veja Fine-tuning de Modelos de IA para saber como corre.
Os modelos abertos melhoram de poucos em poucos meses. A camada de serviço é construída para que uma versão nova possa ser testada ao lado da atual nas suas tarefas, e trocada num dia que escolher, com reversão. Acordamos a cadência de revisão na entrega.
Somos uma equipa pequena de especialistas seniores. Escolhemos o modelo certo e a camada certa, e construímos o mínimo de maquinaria que resolve o problema. Tem uma chamada com um engenheiro, não um deck de vendas.
