数据密集型计算环境下离群点挖掘算法设计与实现

数据密集型计算环境下离群点挖掘算法设计与实现

陈亚丽  张龙波  李彩虹  张树森  刘希昱

基于MapReduce模型,提出了一种网格技术与基于LOF方法相结合的离群点挖掘算法MR_LOF .Map阶段采用网格进行数据约简,将代表点信息发送给主节点;Reduce阶段使用基于密度的离群点挖掘算法,借助网格期望值E筛选出稠密区域.该算法只需计算稀疏区域对象的LOF值,降低了算法的时间复杂度.实验结果表明,在数据密集型计算环境中,该方法能有效的对离群点进行挖掘.

数据密集型计算环境下离群点挖掘算法设计与实现

时间: 2024-10-09 16:27:48

数据密集型计算环境下离群点挖掘算法设计与实现的相关文章

大数据与云环境下的信息安全

<信息安全辞典>日前由上海辞书出版社出版,该书由上海社会科学院信息研究所编撰,分析了全球信息安全所面临的全新挑战,从信息安全.信息安全威胁以及信息安全政策.法律.标准.机构.技术.产业.教育.研究等十个方面,对国内外的信息安全问题进行了较为全面的分析和梳理. 信息安全正迎来大数据时代和云计算环境的新风险和新挑战,这一新环境下的信息安全尽管与以往的信息安全有着历史的逻辑承续,但形成了一些新的特点,其风险链.风险域和风险度都有了诸多新变化,呈现出隐蔽的关联性.集群的风险性.泛在的模糊性.跨域的渗透

网格计算环境下安全认证技术方案分析

互联网的迅猛发展,使网上遍布了成千上万的各类高性能计算机,如何更好地扩展和利用这些网络资源已成为一个重要研究方向,这正是网格计算的发展前景所在. 网格计算作为新一代的分布式计算方法,与传统分布式计算的主要区别在于在没有集中控制机制的情况下,通过对计算资源进行大规模共享,满足应用对高性能计算要求,并且这种对计算资源进行大规模共享是动态的.柔性的.安全的和协作式的. 网格安全问题是网格计算中的一个核心问题.我们都知道,安全与便利是一对矛盾的结合体.因为在保证网格计算安全性的同时,还必须要尽量方便用户

云计算环境下CA认证中心的研究与设计

云计算环境下CA认证中心的研究与设计 北京邮电大学   盛宇伟 云计算作为一种新的概念,新的服务模式被提出来,是IT行业又一个崭新的方向.云计算按需提供服务,资源合理利用,简单部署模式等优势在未来不但可以有效的推进计算机的发展,而且可以显著的改善人民的生活及工作方式.然而,安全问题一直伴随着云计算的发展,也阻碍了云计算的发展.认证中心(CA)作为公钥基础设施(PKI)的核心,在安全方面尤为重要.因而在云计算环境中构建认证中心有着深远的意义.本文一方面从云计算安全出发,研究云计算中安全问题以及解决

link环境下制作一款《订餐软件》,请问如何实现历史账套的数据固定功能,如何固定数据?

问题描述 link环境下制作一款<订餐软件>,请问如何实现历史账套的数据固定功能,如何固定数据? link环境下制作一款<订餐软件>,请问如何实现历史账套的数据固定功能,如何固定数据? 解决方案 设置一个标记,如果超过时间,在触发器中禁止插入 解决方案二: 做禁止修改标志或者,直接备份数据库.备份的数据库不允许写操作,只接查询. 解决方案三: 在相应的表中增加封存标识,历史数据把这个标识设置为封存(如1代表封存),封存的数据不允许修改即可

stm32 ucosii-STM32 UCOSII环境下,在进入程序的时候就会给串口发送数据

问题描述 STM32 UCOSII环境下,在进入程序的时候就会给串口发送数据 STM32 UCOSII环境下,在进入程序的时候就会给串口发送一串数据这是我连上串口打开串口调试助手发现的数据(我直接运行的代码例程)8C ED 16 43 0A 3F 3A 20 48 65 6C 70 20 28 54 68 69 73 20 6D 65 6E 75 29 0A 6D 8D 1.你们有没有遇到?2.请问这是为么出现此情况?3.如何解决这个问题?

link环境下制作一款《订餐软件》,什么是差异代表数据?数据库中如何放入这种数据?

问题描述 link环境下制作一款<订餐软件>,什么是差异代表数据?数据库中如何放入这种数据? link环境下制作一款<订餐软件>,什么是差异代表数据?数据库中如何放入这种数据? 解决方案 差异代表数据?不知道.如果你不知道数据的格式,最好用xml,这样不拘泥于数据的种类和格式了. 解决方案二: 老是看到这个问题,就过来逛一下

云格环境下海量高分遥感影像资源与服务高效调配研究

云格环境下海量高分遥感影像资源与服务高效调配研究 浙江大学 曾志 具体研究内容包括以下几个方面: 1)在分析网格计算与云计算在高性能计算优势互补的基础上,提出一种网格计算与云计算融合策略解决大数据高分遥感高效处理的方法.然后依据WebService规范,研究了资源与服务的一体化描述机制,尤其是针对有状态资源的描述方法,便于资源与服务的组织与管理,实现高效访问. 2)利用P2P在分布式.可靠性和容错性方面的优势,研究了云格环境下的一种分组生成树的P2P网络动态资源与服务发现算法,实现高分辨率影像数

不确定性环境下的智慧城市顶层设计

一. 智慧城市面对的不确定性 ▌为什么要关注不确定性 信息技术应用的成功激发了智慧城市的构想,但智慧城市顶层设计却频频出现难以落地的问题,重要原因是没有意识到信息技术工具都有其适用的边界,信息技术是利用历史的数据与经验的算法来解决未来的问题,它只能适应确定性环境,无法适应不确定性环境,确定性是信息技术应用的边界,智慧城市恰恰具有极大的不确定性,顶层设计必须识别不确定性才能使智慧城市顺利落地. ▌两种类型的政府业务 智慧城市的一项重要任务是推动服务型政府建设,信息技术提高政府工作效率的可行性与政府

ERP环境下的会计业务流程

1 ERP环境下会计观念的重建 会计观念重建的手段主要有培训.宣传与交流,其目的在于重建会计的理性基础,用新的思想.新的观念来为会计业务流程的重组做准备以及为重组后的会计业务流程顺利进行提供保障.新的会计观念主要包括: (1)树立团队合作观念. 随着流程小组成为会计组织的基石,会计人员原有的相互独立.各自为阵的工作方式已被团队合作方式所取代.在团队中,每个成员不仅仅对自己所从事的一部分工作负责,还与其他成员共同对流程的结果负责.而每个成员的报酬也与团队的业绩直接相关,而不是取决于工作时间或工龄.