联邦学习的隐私保护技术研究

联邦学习作为一种新兴的人工智能计算框架,旨在解决分布式环境下数据安全交换与隐私保护,然而联邦学习在应用时仍然存在安全问题.鉴于此,文章从多个层面分析联邦学习的隐私安全问题,并针对性地提出了防御措施;面向联邦学习安全高速数据交换,提出了一种基于改进同态加密算法的联邦学习模型,为联邦学习落地实施提供借鉴和参考.     

基于联邦学习的本地化差分隐私机制研究

联邦学习与群体学习作为当前热门的分布式机器学习范式,前者能够保护用户数据不被第三方获得的前提下在服务器中实现模型参数共享计算,后者在无中心服务器的前提下利用区块链技术实现所有用户同等地聚合模型参数。但是,通过分析模型训练后的参数,如深度神经网络训练的权值,仍然可能泄露用户的隐私信息。目前,在联邦学习下运用本地化差分隐私(LDP)保护模型参数的方法层出不穷,但皆难以在较小的隐私预算和用户数量下缩小模型测试精度差。针对此问题,该文提出正负分段机制(PNPM),在聚合前对本地模型参数进行扰动。首先,证明了该机制满足严格的差分隐私定义,保证了算法的隐私性;其次分析了该机制能够在较少的用户数量下保证模型的精度,保证了机制的有效性;最后,在3种主流图像分类数据集上与其他最先进的方法在模型准确性、隐私保护方面进行了比较,表现出了较好的性能。     

基于同态加密的高效安全联邦学习聚合框架

为了解决联邦学习数据安全以及加密后通信开销大等问题,提出了一种基于同态加密的高效安全联邦聚合框架。在联邦学习过程中,用户数据的隐私安全问题亟须解决,然而在训练过程中采用加密方案带来的计算和通信开销又会影响训练效率。在既要保护数据安全又要保证训练效率的情况下,首先,采用Top-K梯度选择方法对模型梯度进行筛选,减少了需要上传的梯度数量,提出适合多边缘节点的候选量化协议和安全候选索引合并算法,进一步降低通信开销、加速同态加密计算。其次,由于神经网络每层模型参数具有高斯分布的特性,对选择的模型梯度进行裁剪量化,并采用梯度无符号量化协议以加速同态加密计算。最后,实验结果表明,在联邦学习的场景下,所提框架既保证了数据隐私安全,又具有较高的准确率和高效的性能。     

大数据分析技术下的隐私保护

随着大数据时代的到来,应用数据带来一定的经济和社会效益已成为常态。然而在数据分析的过程中,必不可少会涉及隐私和敏感数据,如何保障数据安全与隐私信息不被泄露,是在数据分析中不可忽略的问题。因此,文章基于对大数据分析工作中面临的数据隐私安全问题,分析其产生的原因并提出解决方法,并展望了其未来发展趋势。     

基于联邦学习的隐私安全和高效通信模型

深度学习的应用日益广泛,训练样本是深度学习模型的基础.但是在军事、 商业和金融等领域中,往往会出现模型训练时样本数据分散不易集中和隐私保护等问题.因此,数据隐私安全的研究非常重要.以某领域命名实体识别为应用场景,提出了FedPBert模型,采取了横向联邦学习的方式对Bert模型进行了预训练和微调.为了提高模型的精度,采...     

基于差分隐私的联邦学习数据隐私安全技术

联邦学习方法在大数据时代有效解决了“数据孤岛”问题,也在一定程度上保障了数据隐私安全。然而,联邦学习的许多方面仍面临隐私风险。首先归纳总结了联邦学习面临的常见隐私威胁,并针对不同类型的隐私威胁归纳出对应的隐私保护措施;其次重点针对差分隐私方法进行了探讨,归纳总结了一些差分隐私的实现方法;最后基于差分隐私设计了一种适用于联邦学习系统的隐私保护手段。     

基于混合隐私的区块链高效模型协同训练共享方案

针对海量数据下,基于区块链的联邦学习数据共享平台面临的效率低下和隐私泄露问题,该文提出基于混合隐私的区块链高效模型协同训练共享方案。在该方案中,首先根据欧氏距离设计了一种基于相似度的训练成员选择算法来选择训练成员,组成联邦社区,即通过选取少量的高匹配训练节点来提高训练的效率和效果。然后,结合阈值同态加密和差分隐私,设计一种基于混合隐私技术的模型协同训练共享方案来保证训练和共享过程中的隐私性。实验结果和系统实现表明,所提方案可以在保证训练结果准确率的情况下,实现高效训练和隐私保护下的数据共享。     

基于联邦学习的隐私保护区域交通流量预测模型

区域交通流量预测是智慧交通系统的一项重要功能。联邦学习可以支持多位置服务提供商(Location Service Provider, LSP)的联合训练,使得训练数据集可以更加全面地覆盖整个区域的交通流量,提高预测准确率。但是,当前基于联邦学习的区域交通流量预测方案存在车辆数据去重、训练节点背叛以及隐私泄露等问题。为此,构建了基于联邦学习的隐私保护区域交通流量预测(Privacy-Preserving Regional Traffic Flow Prediction based on Federated Learning, PPRTFP-FL)模型。模型采用中心部署架构,由联邦中央服务器协调各个LSP联合完成模型的训练,并对全局模型进行梯度聚合与模型更新;采用交叉评价加权聚合的策略来防御部分不可信节点对全局模型的恶意攻击,提升了全局模型的鲁棒性;预测阶段使用同态加密聚合算法,各LSP在不泄露自身运营数据的情况下实现了更准确的流量预测。利用相关数据集进行测试,测试结果表明当训练数据集覆盖区域流量充分的情况下,本模型相比本地模型的预测准确率有明显的提升。对模型进行不同比例的恶意节点攻击实验...     

基于纵向联邦学习的快速提升树算法

针对联邦学习算法中存在的训练效率低、通信成本高等问题,提出基于纵向联邦学习的快速提升树算法,在模型传递一阶导数和二阶导数时使用差分隐私方案,并在初始化预测类标签时增加随机扰动。相比于目前常见联邦学习框架FATE中依靠半同态加密实现的安全提升树(SecureBoost)模型,本算法在不降低模型精度的情况下,在相同8.5万样本的数据上,运行速度提升了60.79%,传输数据量减少了31.65%。相同65万样本的数据上,运行速度提升了50.54%,传输数据量减少了12.05%。     

基于联邦学习模型的电力客户隐私保护方法

为提升电力物联网中用户数据安全性,提出了电力物联网LDP联邦学习框架。该框架将物联网用户分为常规用户和敏感用户两部分。常规用户通过与电力供应商互通模型与数据,基于横向联邦学习技术学习局部模型并参与更新全局模型;敏感用户利用异构联邦迁移学习技术将全局模型关联到局部模型中,从而保证敏感用户数据安全性。将联邦学习框架应用于GRU、LSTM网络,验证了所提联邦学习框架能够提升网络性能。     

基于生成模型的联邦学习隐私保护算法

在联邦学习中,交换模型参数或梯度信息通常被视作是安全的。但近期研究表明,模型参数或者梯度信息也会导致训练数据的泄露。基于保护客户端数据安全的目的,提出了一种基于生成模型的联邦学习算法。为了验证该算法的有效性,在DermaMNIST数据集上进行了仿真实验,采用梯度泄露攻击对算法进行验证。实验结果表明,提出的基于生成模型的联邦学习算法与联邦学习经典算法在准确率上仅仅相差0.02%,并且通过MSE、PSNR、SSIM等评价指标可以判断出该算法可以有效地保护数据隐私。     

隐私保护机器学习的密码学方法

新一代人工智能技术的特征,表现为借助GPU计算、云计算等高性能分布式计算能力,使用以深度学习算法为代表的机器学习算法,在大数据上进行学习训练,来模拟、延伸和扩展人的智能。不同数据来源、不同的计算物理位置,使得目前的机器学习面临严重的隐私泄露问题,因此隐私保护机器学习(PPM)成为目前广受关注的研究领域。采用密码学工具来解决机器学习中的隐私问题,是隐私保护机器学习重要的技术。该文介绍隐私保护机器学习中常用的密码学工具,包括通用安全多方计算(SMPC)、隐私保护集合运算、同态加密(HE)等,以及应用它们来解决机器学习中数据整理、模型训练、模型测试、数据预测等各个阶段中存在的隐私保护问题的研究方法与研究现状。     

一种基于联邦学习和隐私保护的流调分析方法

针对流调中重点人员的隐私保护问题,文章利用联邦学习技术,提出了一种基于联邦学习和隐私保护的流调分析方法,构建了相应的流调分析系统,目的是在数据保留在本地不直接共享的条件下,各机构进行数据共享和联合建模,得出重点人员的车次信息、行动轨迹,精准呈现近期的活动区域,将这些轨迹和区域在地图中标明,帮助有关部门及时制定对策并开展防控工作,提高时效性,避免因划定区域太过广泛而加大防疫工作量。     

基于联邦学习的安全与隐私保护技术研究

联邦学习是一种高效隐私保护技术,其能在不直接获得数据源的情景下,通过参与方的本地训练及传输主要参数,进而成功训练出一个完整的学习模型。但联邦学习本体也有很多隐患因素,文章简单介绍联邦学习的概念,分析联邦学习内的威胁因素,包括投毒攻击、对抗攻击及隐私泄露,探究相关防御思路与策略。     

云存储中隐私保护的线性同态加密方案

云存储数据具有访问方便、可靠性高及可测量等优势,然而也存在一些安全风险,如敏感数据泄露、未授权访问及数据完整性等。针对敏感数据泄露问题,本文提出了一基于整多项式环上差错学习（R-LWE）问题的有效线性同态加密方案（LHES）,该方案可对要上传云端的数据进行加密并以密文形式分布式存储,其安全性是基于R-LWE问题的困难性。分析表明,该方案在效率上较基于LWE的加法同态加密方案有很大改进,并且在标准模型下是选择明文攻击安全的。最后,给出了本文方案在云存储隐私保护中的应用架构。      

同态加密在隐私计算中的应用综述

同态加密技术是一种基于数学难题的计算复杂性理论的密码学技术,支持数据以密态方式进行计算,计算结果解密后与明文计算的结果一致,在多样化复杂应用场景中具有很好的普适性,是目前隐私计算领域的一个热点研究方向。通过对同态加密技术的发展历程以及相关的技术路线进行梳理,解析了同态加密在安全求交、隐匿查询、多方联合计算、多方联合建模等典型隐私计算应用场景的技术融合应用,并对同态加密目前广泛落地应用过程中碰到的关键问题进行分析,最后对同态加密的研究发展方向进行探讨。     

FastProtector： 一种支持梯度隐私保护的高效联邦学习方法

联邦学习存在来自梯度的参与方隐私泄露,现有基于同态加密的梯度保护方案产生较大时间开销且潜在参与方与聚合服务器合谋导致梯度外泄的风险,为此,该文提出一种新的联邦学习方法FastProtector,在采用同态加密保护参与方梯度时引入符号随机梯度下降(SignSGD)思想,利用梯度中正负的多数决定聚合结果也能使模型收敛的特性,量化梯度并改进梯度更新机制,降低梯度加密的开销;同时给出一种加性秘密共享方案保护梯度密文以抵抗恶意聚合服务器和参与方之间共谋攻击;在MNIST和CIFAR-10数据集上进行了实验,结果表明所提方法在降低80%左右加解密总时间的同时仍可保证较高的模型准确率。     

基于同态加密的DBSCAN聚类隐私保护方案

为了降低数据外包聚类运算过程中存在的隐私泄露风险,提出了一个基于同态加密的DBSCAN聚类隐私保护方案.为了加密实际场景中的浮点型数据,给出了针对不同数据精度的3种数据预处理方式,并提出了一种基于数据特点且综合考虑数据精度和计算开销等方面的数据预处理方式的选择策略.由于同态加密不支持密文比较运算,设计了一个用户端与云服...