Processos clínicos, históricos de contas, registos de produção: a lei ou o contrato dizem que ficam. Cada local sozinho tem poucos casos para aprender. Um conjunto de treino central está fora de questão.
Processos clínicos, históricos de contas, registos de produção. A lei, o contrato ou a administração dizem que ficam onde estão. Um conjunto de treino central está fora de questão.
Um acordo de partilha de dados entre três organizações leva um ano e uma equipa jurídica. A maioria dos projetos não sobrevive à espera.
Um hospital tem algumas centenas de casos da condição. Cinco hospitais juntos teriam o suficiente para aprender. Separados, nenhum consegue.
Cada local treina o modelo nos seus próprios registos, dentro do seu perímetro. Só as atualizações do modelo viajam, combinadas de forma que nenhuma se revela. O resultado é um modelo que aprendeu com todos os locais, e nenhum registo se moveu.
Três partes: treino em cada local, combinação segura das atualizações, e devolução do resultado.
O modelo corre em cada participante, na sua máquina.
O coordenador combina o que não consegue ler.
Todos recebem o modelo melhorado de volta.
Quatro fases, dos participantes à mesa a um modelo em cada local.
Participantes, dados, regras, a pergunta.
Clientes em cada local, coordenador no meio.
Rondas, avaliação, repetir.
O modelo em cada local, monitorizado.
Um modelo treinado com dados que nunca poderiam ser juntados, com o argumento de conformidade escrito no desenho.
Sem acordo de partilha de dados, porque nenhum dado é partilhado. O jurídico revê um protocolo em vez de uma transferência.
Medido em cada local contra um modelo treinado só com os seus dados. O ganho vindo dos outros locais é um número, por local.
Um local pode ver o que contribuiu, pausar ou sair. Os seus registos nunca saíram do edifício, por isso não há nada a recolher.
| Lado a lado | Treino central | Federated learning |
|---|---|---|
| Para onde vão os dados | Para um repositório central | Para lado nenhum |
| Privacidade | Depende da segurança do repositório | Os registos nunca saem; atualizações combinadas sem serem vistas |
| Conformidade | Acordos de partilha, transferências, residência | Uma revisão de protocolo |
| Dados que o modelo vê | O que pôde ser transferido | Todos os locais participantes |
| Infraestrutura | Um grande ambiente de treino | Um cliente por local, um coordenador no meio |
Uma forma de treinar um modelo com dados guardados em vários sítios sem mover os dados. Cada sítio treina nos seus próprios registos e devolve só a atualização do modelo. Um coordenador combina as atualizações num modelo melhor e envia-o de volta. Repete-se até o modelo deixar de melhorar. Nenhum registo sai do sítio onde vive.
Primeiro, os dados brutos nunca saem de um local. Segundo, as atualizações são combinadas com agregação segura, por isso o coordenador vê só a soma, nunca a contribuição de um local. Onde é precisa uma garantia mais estrita, adiciona-se ruído às atualizações. O protocolo e a garantia são escritos e revistos por cada participante antes de uma ronda correr.
Saúde, onde os registos clínicos ficam em cada hospital. Serviços financeiros, onde os dados de contas ficam em cada instituição. Grupos industriais com fábricas em várias jurisdições. Qualquer caso em que vários detentores de dados semelhantes querem um modelo e nenhum pode partilhar os dados.
Normalmente perto, e sempre melhor do que qualquer local consegue treinar sozinho, que é a comparação que importa quando juntar não é opção. Medimos em cada local contra a base só do local e reportamos os números por local.
Somos uma equipa pequena de especialistas seniores. Escolhemos o modelo certo e a camada certa, e construímos o mínimo de maquinaria que resolve o problema. Tem uma chamada com um engenheiro, não um deck de vendas.
