Fábricas, agências, filiais, países: cada um com o seu sistema, dono e jurisdição. Copiar tudo para um repositório é uma transferência a justificar, um repositório a proteger e um ano à espera.
Cada fábrica, agência ou filial guarda os seus dados no seu sistema, com o seu dono e muitas vezes na sua jurisdição. Obter acesso de leitura a todos exige um programa próprio.
Copiar dados pessoais ou confidenciais para um repositório central cria uma nova transferência a justificar, um novo repositório a proteger, e uma nova questão de residência em cada país envolvido.
Terabytes de registos ou imagens de vinte locais por ligações normais. Quando o lake está cheio, a pergunta já mudou.
Um cliente de treino em cada local aprende com os dados locais. Um coordenador combina a aprendizagem num modelo e devolve-o. Sem cópia, sem transferência, sem lake. Os locais ficam com os seus dados e as suas regras, e o grupo recebe um modelo que os conhece a todos.
Três partes: a rede de clientes, os dados em cada local, e a privacidade do que viaja.
Clientes nos locais, um coordenador no meio.
Alinhados sem serem movidos.
O que viaja nada revela.
Quatro fases, dos locais numa lista a um modelo em cada um deles.
Locais, dados, regras, a pergunta.
Clientes, coordenador, ligações.
Rondas entre os locais.
O modelo em todo o lado, locais novos a entrar.
Um modelo em todo o grupo, sem a migração e sem a transferência.
Sem data lake para construir primeiro. Clientes instalados, esquema acordado, primeira ronda corrida: semanas, e não o ano que uma plataforma central leva.
Os dados ficam no país e no sistema onde vivem. A questão de conformidade por local é respondida pelo desenho.
Padrões de cada fábrica, agência ou filial, medidos em cada local contra um modelo treinado só com os seus próprios dados.
| Lado a lado | Treino central | Treino descentralizado |
|---|---|---|
| Movimento de dados | Tudo para um repositório | Nenhum; só atualizações |
| Privacidade | Uma segunda cópia a proteger | Registos ficam no local, atualizações mascaradas |
| Conformidade | Uma transferência por jurisdição | Satisfeita pelo desenho |
| Trabalhar entre organizações | Precisa de um acordo de partilha | Precisa de um protocolo |
| Quem controla os dados | A plataforma central | Cada local, como antes |
Normalmente perto, e essa é a comparação que importa só quando um repositório central é possível. Quando não é, a comparação é com o que cada local consegue treinar sozinho, e o modelo descentralizado é melhor por uma margem que medimos por local em dados locais reservados e reportamos antes da entrega.
Grupos com dados em várias fábricas, agências, filiais ou países: indústria, cadeias de retalho, grupos bancários e seguradores, redes de saúde, entidades públicas com delegações regionais. E consórcios de organizações separadas que querem um modelo sem partilhar dados, que é federated learning entre empresas.
Cada ligação é autenticada e cifrada. As atualizações são combinadas com agregação segura, por isso o coordenador vê só a soma. Onde a garantia o exige, adiciona-se ruído de privacidade diferencial. Cada atualização é limitada contra envenenamento. Cada local regista as suas rondas para a sua própria auditoria, e o protocolo é revisto pela equipa de segurança de cada local antes da primeira ronda.
Uma máquina dentro do seu perímetro capaz de correr o cliente de treino sobre os dados locais: para a maioria dos dados tabulares e registos um servidor normal, para imagens ou modelos grandes uma GPU. Mais uma ligação de saída para o coordenador. O coordenador corre onde o grupo permitir, nas instalações ou numa cloud privada. Dimensionamos na avaliação a partir dos dados e do modelo.
Somos uma equipa pequena de especialistas seniores. Escolhemos o modelo certo e a camada certa, e construímos o mínimo de maquinaria que resolve o problema. Tem uma chamada com um engenheiro, não um deck de vendas.
