谷歌发布实验性TensorFlow模 用于测试AI模型的隐私性

谷歌今天发布了TensorFlow Privacy的实验模块，该模块是其保留隐私的TensorFlow工具包，可用于评估各种机器学习分类器的隐私属性。该公司表示，它将成为隐私测试套件的基础，该套件可被任何AI??开发人员使用，无论其技术水平如何。

各种AI隐私技术的优点仍然是社区内讨论的话题。没有规范的准则可以生成私有模型，但是越来越多的研究表明，AI模型可能会泄漏训练数据集的敏感信息，从而产生隐私风险。TensorFlow隐私偏爱的缓解方法是差异隐私，这会增加噪音以隐藏训练数据中的单个示例。但是，这种噪声是为学术上最坏的情况而设计的，并且会严重影响模型的准确性。

这促使Google的研究人员在会员推断攻击中寻求替代方案。新的TensorFlow Privacy模块支持的成员资格推断攻击方法可构建分类器，以推断训练数据集中是否存在特定样本。分类器越准确，存在的记忆就越多，因此模型的隐私保护就越少-直觉是，以高精度进行预测的攻击者将成功确定训练集中使用了哪些数据。

新模块提供的测试是黑盒子，这意味着它们仅使用模型的输出，而不是内部(权重)或输入样本。他们产生一个漏洞评分，该评分确定模型是否从培训集中泄漏了信息，并且不需要任何重新培训，因此相对易于执行。

“在内部使用成员身份推断测试后，我们将与开发人员共享它们，以帮助他们构建更多的私有模型，探索更好的架构选择，使用正则化技术(如提早停止，退出，权重衰减和输入增加)，或收集更多数据， ” Google Brain的Shuang Song和Google软件工程师David Marn在TensorFlow博客上的帖子中写道。“最终，这些测试可以帮助开发人员社区确定更多结合了隐私设计原则和数据处理选择的体系结构。”

谷歌表示，未来，它将探索将会员推理攻击扩展到分类器之外的可行性，并开发新的测试。它还计划通过将其与TensorFlow Extended(TFX)集成在一起，探索将新测试添加到TensorFlow生态系统，TFX是用于部署生产机器学习管道的端到端平台。

据相关报道，谷歌今天增加了对围棋和Java支持的基础性差隐私库它去年夏天开源。它还提供了Privacy on Beam，这是一种基于Apache Beam(模型和特定于语言的SDK的集合)构建的端到端差异隐私解决方案，该解决方案依赖于差异隐私库中的较低层构建块并将其组合为一个“开箱即用”的解决方案，它照顾了差异隐私所必需的步骤。此外，Google推出了新的隐私权损失分配跟踪隐私预算的工具，开发人员可以使用该工具来估算差异性私有查询集合对用户隐私的总成本，并更好地评估其管道的总体影响。