Uma atualização do modelo pode ser revertida em partes dos registos por trás dela. O coordenador vê todas. Uma atualização envenenada parece igual às outras. Manter os dados em casa não chega se a atualização viaja às claras.
Uma atualização do modelo vinda de um local é uma função dos registos desse local. Com cuidado suficiente, partes desses registos podem ser reconstruídas a partir dela. Manter os dados em casa não chega se a atualização viaja às claras.
Quem corre a agregação vê todas as atualizações. Comprometa-se essa máquina, ou esse operador, e a contribuição de todos os participantes fica exposta.
Um participante pode enviar uma atualização envenenada. Sem verificação, o coordenador não distingue uma contribuição má de uma boa, e o modelo global absorve-a.
A agregação segura mascara cada atualização de modo que só a soma de todas pode ser recuperada. O coordenador calcula o modelo combinado e nada aprende sobre um local isolado. Verificação e tratamento de saídas mantêm a ronda honesta quando os participantes se portam mal ou desaparecem.
Três partes: a privacidade de cada atualização, a segurança da ronda, e a confiança entre participantes.
Só a soma é recuperável.
A ronda completa-se corretamente ou não se completa.
Os participantes podem verificar, e ninguém tem de confiar no meio.
Quatro fases, de uma configuração federada a rondas seguras em produção.
Participantes, modelo de ameaça, garantia.
A máscara e a verificação, especificadas.
Nos clientes federados e no coordenador.
Rondas seguras, vigiadas.
Federated learning que os participantes e os seus juristas podem aceitar.
O que sai de cada local não pode ser revertido em registos, nem pelo coordenador. O argumento de privacidade aguenta ao longo de todo o protocolo.
Concorrentes, hospitais de grupos diferentes, agências de países diferentes. Ninguém precisa de confiar no meio ou uns nos outros, só no protocolo.
Limites, verificação e registo restringem o que uma atualização envenenada pode fazer e tornam-na visível quando chega.
| Lado a lado | Agregação simples | Agregação segura |
|---|---|---|
| O que o coordenador vê | A atualização de cada local | Só a soma |
| Se o coordenador for comprometido | Todas as contribuições expostas | Continua a ser só a soma |
| Confiança necessária | No operador e em cada participante | No protocolo |
| Um local que sai | A ronda falha ou revela | A ronda completa-se, nada exposto |
| Atualização envenenada | Absorvida sem ser vista | Limitada, verificada, registada |
Acrescenta computação em cada local para a máscara e algum tráfego para os segredos partilhados. Para o número de participantes típico de organizações, dezenas de locais e não milhões de dispositivos, a sobrecarga por ronda é modesta e as rondas são dominadas pelo tempo de treino. Medimos na fase de integração e reportamos.
Não. Impede o coordenador e os outros participantes de aprenderem a atualização de um local isolado. Não impede por si o que o modelo global final pode revelar, para isso serve a privacidade diferencial, e limita em vez de eliminar o envenenamento, que os limites e a verificação tratam. A avaliação nomeia as ameaças e que mecanismo cobre cada uma.
O protocolo está desenhado para isso. Os participantes restantes detêm o suficiente dos segredos partilhados para anular a máscara do local em falta, por isso a soma continua a poder ser recuperada sem revelar a contribuição de ninguém. Abaixo de um número mínimo acordado de participantes, a ronda é abortada e registada.
Cada atualização é limitada antes de ser mascarada, por isso um local sozinho não consegue empurrar o modelo global arbitrariamente longe. Verificações ao agregado e às estatísticas da ronda assinalam anomalias. Os participantes são autenticados em cada ronda, e um local que falha as verificações repetidamente pode ser excluído. Os registos deixam cada participante ver quando aconteceu.
Somos uma equipa pequena de especialistas seniores. Escolhemos o modelo certo e a camada certa, e construímos o mínimo de maquinaria que resolve o problema. Tem uma chamada com um engenheiro, não um deck de vendas.
