Avaliação de desempenho
Onde o modelo erra, e porquê.
- Medir a exatidão por local em dados reservados
- Encontrar os segmentos onde falha
- Comparar a mistura de dados entre locais
- Identificar o que os outros locais têm e este não
- Fixar o alvo por local
01 / 04
Tão estreito como os dados que viu
Um modelo treinado num local aprende os doentes, máquinas ou clientes de um local. É confiante nesses e errado nos outros. Os casos em falta existem, noutros silos que não alcança.
CH.01 · O problema
O modelo é tão estreito como os dados que viu.
Poucos casos, e a mistura errada
Um hospital vê os doentes da sua região. Uma fábrica vê as suas máquinas. Um modelo treinado aí é confiante nesses e errado nos outros, e não sabe.
O resto do quadro está noutros silos
Os casos que o seu modelo nunca viu existem, no local irmão, no parceiro, na outra filial. Fechariam a lacuna, e estão fora de alcance.
Juntar está fora de questão
Os dados não podem ser movidos: privacidade, contratos, residência. A resposta habitual, juntar tudo e retreinar, é a única coisa que não pode fazer.
A nossa resposta
Treinar entre os locais, medir o ganho em cada um
O treino federado deixa o modelo aprender com os casos de todos os locais sem nenhum registo se mover. Medimos a exatidão em cada local antes e depois, contra um modelo treinado só com os seus dados, e reportamos a diferença por local.
CH.02 · O que construímos
Como construímos
Três partes: saber onde o modelo falha, obter os dados de que precisa sem os mover, e melhorar contra uma base medida.
Mais casos, mais variedadePrivacidade mantida do princípio ao fimMelhor em dados que não viuMenos enviesamento pelos hábitos de um local
Estratégia de dados
Os casos que faltam ao modelo, alcançados no local.
- Acordar um esquema comum entre locais
- Mapear os dados de cada local localmente
- Verificar qualidade e cobertura por local
- Pesar a participação pelo que cada local acrescenta
- Manter os registos no local, sempre
Otimização
Rondas, medidas contra a base.
- Treinar rondas entre os locais
- Avaliar por local depois de cada ronda
- Afinar para os segmentos que falhavam
- Verificar que a garantia se mantém
- Parar quando o ganho estabiliza, e reportar
CH.03 · Como corre
Como corre
Quatro fases, cada uma a terminar com um número por local.
- 01Fase 1
Avaliação
Base, falhas, alvos.
- Medir o modelo atual por local
- Encontrar os segmentos que falham
- Comparar os dados entre locais
- 02Fase 2
Preparação dos dados
Alinhados no local.
- Acordar o esquema comum
- Mapear os dados locais em cada local
- Verificar qualidade e cobertura
- 03Fase 3
Otimização
Rondas entre os locais.
- Correr rondas de treino federado
- Avaliar por local depois de cada uma
- Afinar para os segmentos que falhavam
- 04Fase 4
Validação
Provar, depois manter.
- Teste independente em dados reservados por local
- Reportar antes e depois por local
- Passar a produção em cada local
CH.04 · O que muda
O que muda
Um modelo que acerta mais vezes, em mais tipos de caso, com um número por local a prová-lo.
Exatidão a subir onde falhava
Os segmentos que a avaliação nomeou, medidos antes e depois em cada local. A melhoria é um número por local.
A mesma conformidade de antes
Nenhum registo se moveu. A garantia de privacidade acordada na avaliação mantém-se ao longo do treino e é documentada para cada local.
Um modelo que continua a melhorar
Locais novos entram, os dados crescem, as rondas repetem-se. O modelo melhora num calendário, e cada ronda é medida.
| Lado a lado | Dados de um local | Treinado entre locais |
|---|---|---|
| Variedade de casos | Uma população | Todos os locais participantes |
| Privacidade | Local, por omissão | Continua local; atualizações mascaradas |
| Em dados novos | Confiante e muitas vezes errado | Medido em dados reservados de cada local |
| Enviesamento | Os hábitos de um local incorporados | Diluído entre locais, medido |
| Melhoria ao longo do tempo | Retreino quando alguém se lembra | Rondas num calendário, cada uma medida |
CH.05 · Perguntas
Perguntas
Depende de quanto os dados dos outros locais diferem dos seus e de onde o modelo atual falha. Não prometemos um número antes de medir. A avaliação reporta a exatidão por local e por segmento no modelo atual; a fase de otimização reporta o mesmo depois de cada ronda. A melhoria é essa diferença, por local.
Normalmente varia. Qualidade e cobertura são verificadas por local antes do treino, e a participação de um local é pesada pelo que acrescenta. Locais com má qualidade num segmento contribuem menos para ele. A avaliação por local mostra se um local está a ajudar ou a prejudicar, e o mapeamento do esquema é corrigido na origem quando é a causa.
Pode reduzir o enviesamento que vem de a população de um local dominar os dados de treino, porque mais populações contribuem. Não remove o enviesamento que todos os locais partilham. Medimos a exatidão por segmento em cada local antes e depois, por isso a mudança no enviesamento é um número, e dizemos que tipo de enviesamento trata.
Dados de teste reservados em cada local que o treino nunca vê. O modelo atual e o modelo federado são ambos avaliados neles, por local e por segmento. Uma verificação independente corre antes da entrega. O relatório mostra antes e depois para cada local, e a garantia de privacidade que se manteve ao longo de todo o processo.
Mais em Machine Learning
Voltar a Machine LearningO mapa da prática
Começar
Traga-nos o problema que ninguém resolveu.
Somos uma equipa pequena de especialistas seniores. Escolhemos o modelo certo e a camada certa, e construímos o mínimo de maquinaria que resolve o problema. Tem uma chamada com um engenheiro, não um deck de vendas.