Saúde, finanças, recursos humanos: um regulador com regras específicas, um modelo que pode memorizar um registo, parceiros que não podem juntar. Apagar a coluna do nome não satisfaz nada disto.
RGPD, regras setoriais, um encarregado de proteção de dados com perguntas. Anonimizar uma folha apagando a coluna do nome não satisfaz nenhum deles.
Saúde, finanças, recursos humanos, menores. Um modelo que memoriza um registo pode ser levado a repeti-lo, e uma fuga do modelo é uma fuga dos dados.
Dois bancos, três hospitais, um fornecedor e um cliente. Cada um tem metade do quadro, e nenhum jurista assina a transferência que o completaria.
Escolhemos a técnica que serve os dados e a regra: privacidade diferencial para um limite ao que qualquer registo pode revelar, federated learning para treinar sem mover dados, computação segura para parceiros que não podem partilhar. Cada uma vem com um número que o encarregado de proteção de dados consegue ler.
Três partes: escolher a técnica, implementá-la corretamente, e desenhar o sistema à volta dela.
A garantia certa para os dados e a regra.
A garantia, feita corretamente.
O sistema à volta do modelo respeita as mesmas regras.
Quatro fases, com o encarregado de proteção de dados na sala desde a primeira.
Dados, regras, ameaças, exatidão necessária.
O mecanismo, construído e verificado.
Exatidão dentro da garantia.
Prova, depois controlo contínuo.
Modelos sobre os dados que importam, com uma garantia em vez de uma esperança.
Um orçamento de privacidade, um protocolo e uma arquitetura que o encarregado de proteção de dados pode rever. A pergunta passa de se para quanto.
Testado: o modelo não pode ser levado a repetir um registo. O que aprendeu foram padrões, dentro de um limite que define.
Treino federado ou computação segura permitem a organizações treinar um modelo sem nenhuma ver os dados das outras.
| Lado a lado | ML comum | ML com preservação de privacidade |
|---|---|---|
| Tratamento dos dados | Copiados para um ambiente de treino | Treinados no local ou sob um limite |
| O que o modelo pode revelar | Desconhecido; pode memorizar registos | Limitado pelo orçamento de privacidade, testado |
| Conformidade | Argumentada depois do facto | Um protocolo revisto antes do treino |
| Trabalhar com parceiros | Precisa de uma transferência de dados | Treino federado ou computação segura |
| Se o modelo for roubado | Os dados podem estar em risco | O limite mantém-se |
Normalmente alguma, e quanto depende da técnica e do orçamento. Medimos: o modelo sob a garantia contra uma base sem restrição nos mesmos dados reservados, e o compromisso é afinado com o dono do negócio e o encarregado de proteção de dados em conjunto. O treino federado sozinho custa muitas vezes pouco; privacidade diferencial forte custa mais.
Decorre dos dados, da regra e da ameaça. Uma organização com dados sensíveis e um regulador: privacidade diferencial, muitas vezes com treino federado entre os seus próprios locais. Várias organizações que não podem partilhar: federated learning com agregação segura, ou computação segura quando o resultado conjunto é o próprio produto. A avaliação testa os candidatos nos seus dados.
Os mecanismos vêm de bibliotecas auditadas, o orçamento de privacidade é acompanhado em cada execução, e o modelo terminado é atacado: testes de pertença e extração tentam recuperar registos dele. Os resultados vão para o encarregado de proteção de dados com a documentação. Onde exigido, um revisor independente verifica a garantia.
Na maior parte, sim. A privacidade diferencial é uma alteração ao ciclo de treino. O treino federado acrescenta um cliente em cada local e um coordenador. A computação segura precisa do seu próprio runtime. Em todos os casos construímos sobre os pipelines e plataformas que a sua equipa já opera, e dizemos na avaliação o que tem de ser acrescentado.
Somos uma equipa pequena de especialistas seniores. Escolhemos o modelo certo e a camada certa, e construímos o mínimo de maquinaria que resolve o problema. Tem uma chamada com um engenheiro, não um deck de vendas.
