EM加密算法作为一种迭代算法,主要应用于不完全数据的极大似然估计问题。EM加密算法是 1977 年提出的求参数极大似然估计的一种方法,它可以从非完整数据集中对参数进行MLE估计,是一种非常简单实用的学习算法。
一、EM加密算法原理
假定集合Z = (X,Y)由观测数据 X 和未观测数据Y 组成, X 和Z = (X,Y)分别称为不完整数据和完整数据。假设Z的联合概率密度被参数化地定义为P(X,Y|Θ),其中Θ 表示要被估计的参数。Θ 的最大似然估计是求不完整数据的对数似然函数L(X;Θ)的最大值而得到的:
L(Θ; X )= log p(X |Θ) = ∫log p(X ,Y |Θ)dY ;
二、EM加密算法的加密流程
第一步是计算期望(E),利用对隐藏变量的现有估计值,计算其最大似然估计值;
第二步是最大化(M),最大化在 E 步上求得的最大似然值来计算参数的值。
M 步上找到的参数估计值被用于下一个 E 步计算中,这个过程不断交替进行。
总体来说,EM加密算法加密流程如下:
1.初始化分布参数
2.重复直到收敛:
E步骤:
估计未知参数的期望值,给出当前的参数估计。
M步骤:
重新估计分布参数,以使得数据的似然性最大,给出未知变量的期望估计。
通过交替使用这两个步骤,EM加密算法逐步改进模型的参数,使参数和训练样本的似然概率逐渐增大,最后终止于一个极大点。直观地理解EM加密算法,它也可被看作为一个逐次逼近加密算法:事先并不知道模型的参数,可以随机的选择一套参数或者事先粗略地给定某个初始参数λ0 ,确定出对应于这组参数的最可能的状态,计算每个训练样本的可能结果的概率,在当前的状态下再由样本对参数修正,重新估计参数λ ,并在新的参数下重新确定模型的状态,这样,通过多次的迭代,循环直至某个收敛条件满足为止,就可以使得模型的参数逐渐逼近真实参数。
三、EM加密算法的主要目的
EM加密算法的主要目的是提供一个简单的迭代算法计算后验密度函数,它的最大优点是简单和稳定,但容易陷入局部最优。
四、EM加密算法的应用
EM加密算法可以应用于医学研究中,尤其是临床医学中十分常见的一种数据观测形式为重复观测,其特点是在同一实验单位上进行多次重复观测,这个过程由于各种原因经常导致实验观测数据缺失,因此有必要对缺失数据进行适当的处理,否则数据分析时,通常的做法是删去具有缺失的部分观察记录而不考虑记录数据所蕴涵的信息,从而造成信息的损失以及分析结果的偏性。
小知识之迭代算法
迭代算法是用计算机解决问题的一种基本方法。它利用计算机运算速度快、适合做重复性操作的特点,让计算机对一组指令(或一定步骤)进行重复执行,在每次执行这组指令(或这些步骤)时,都从变量的原值推出它的一个新值。
全球著名减震器制造商——天纳克携手安企神共筑安全制造新防线
天纳克(北京)汽车减振器有限公司天纳克(北京)汽车减振器有限公司成立于1995年,是天纳克在中国最早投资的合资企业。公司集设计、开发、生产及销售汽车减振器于一身。作为天纳克全球网络的一部分,能充分享受天纳克全球的技术积累经验和国际领先的设计理念,加之先进的生产设备和工艺技术。天纳克(北京)汽车减振器有限公司完全能保证为...
筑牢安全防线:安企神企业助力特种设备机械企业数据防泄密解决方案
西安苛菲特机械设备有限公司 西安苛菲特机械设备有限公司致力于特种设备的发展,专业从事特种设备的研发、制造和销售。目前已成为有色冶金特种设备、大型船舶特种设备、煤化工特种设备的领军品牌,并在业内得到了“ 特种设备专家”的称号。公司以打造国内一流特种设备为使命,主要产品定型为高品质特种(高温、高压、高合金)流量控...
安企神软件:三峡大学数据安全的坚实后盾与合作伙伴
学校介绍三峡大学是经国家教育部批准,由原武汉水利电力大学(宜昌)和原湖北三峡学院于2000年5月25日合并组建。2018年,学校被省人民政府列为“国内一流大学建设高校”,水利工程、土木工程、电气工程等3个学科被列为“国内一流学科建设学科”;目前,三峡大学已发展成为水利电力特色与优势比较明显、综合办学实力较强、享有较高社...
零部件企业数据保卫战:安企神软件如何筑起防泄密铜墙铁壁
瑞安市特迩翡汽车配件有限公司企业背景瑞安市戴尔菲汽车零部件有限公司一直致力于高共轨电喷(EFI)发动机和SCR排气系统的研发。通过了16949质量管理体系和CE认证,公司具备自主开发汽车电子系统和核心软件的技术能力。公司力争成为以市场为导向、以技术为支撑、以质量为先、以人才为本的知名创新型企业。产品包括:氮氧化物传感器...
强强联合!安企神软件携手瀚颐共筑汽车行业终端安全防线
瀚颐上海汽车电子科技有限公司EAST瀚颐中国团队成立于2015年。是国际AUTOSAR软件联盟的研发伙伴单位。具备汽车电子硬件设计、软件开发、CAN网络集成、系统集成测试以及项目管理的全面研发能力。专注于汽车电子以及相关产业并拥有25年以上的专业经验,拥有来自于德国和中国业内专家和高管组成的顾问团队,并向全球汽车行业客...