基于云计算的Web数据挖掘Map/Reduce算法的研究

基于云计算的Web数据挖掘Map/Reduce算法的研究

王勃 徐静

Web数据挖掘通过收集网络中大量有效的数据信息,进行有效的分析,为实现最终信息化的自动处理功能奠定基础. 面对Web数据挖掘中处理大量的数据信息,尤其是数据量每日以几何数增长 ,其算法尤为复杂,存储量大等综合问题, 我们将云计算嵌入到 数据挖掘中去。

基于云计算的Web数据挖掘Map/Reduce算法的研究

时间: 2024-09-20 07:33:21

基于云计算的Web数据挖掘Map/Reduce算法的研究的相关文章

年度盘点:十大基于云计算的Web操作系统

如今,每个人都在谈论云,厂商们都给自己提供的产品和服务贴上云计算的标签.操作系统领域也出现了这一幕,云操作系统只不过是款简化的操作系统,仅仅运行Web浏览器--至少这是云操作系统的一种定义,让用户无需启动完全版的操作系统,就可以执行许多简单任务. 在云计算环境下,应用程序和数据在互联网上"驻留和运行",而不是在硬盘上"驻留和运行".这种服务还被称为平台即服务(PaaS),和软件即服务(SaaS).云操作系统安装后,可以与其他其他操作系统一起使用,也可以充当独立的操作

云计算环境下的负载均衡算法的研究与设计

云计算环境下的负载均衡算法的研究与设计 北京邮电大学  冯秀玲 本文研究了云计算及集群的负载均衡机制和算法,提出了云计算环境下的集群负载均衡问题,并且基于两种不同的云计算场景:私有云和公有云,分别设计了两种不同的算法,对集中式和分布式的负载均衡算法进行了相应的改进,本文的主要内容包括: 第一,分析对比现有集中式算法的性能优劣,着重对典型的算法. 第二,研究分析现有的分布式负载均衡算法,并针对文献中随机游走算法的低效和不足问题进行了改进,改进后的分组随机游走算法属于分布式的,适合使用在公有云环境中

基于云计算业务应用的定制化服务器性能研究

基于云计算业务应用的定制化服务器性能研究 沈玲 赵学健 孙知信 作为提供计算能力的核心资源,服务器在云计算中具有重要地位.定制化服务器具备优化的性能.密度.重量.功耗等特性,已经在互联网行业和云计算行业中得到广泛应用.文中在Web应用.虚拟化应用和分布式存储应用三种不同场景下,对不同负载能力下的定制化服务器性能指标进行了测试,找出了性能指标的一般变化规律和主次关系,为服务器定制化和优化硬件配置提供了决策依据. 基于云计算业务应用的定制化服务器性能研究

基于云计算的地理信息公共服务平台应用与研究

基于云计算的地理信息公共服务平台应用与研究 肖苏勇,吴俐民,刘文军 介绍云计算的概念及特点,探讨基于云计算的地理信息公共服务平台系统的应用模式.通过构建一个"云脑"系统,将已构建好的地理信息公共服务平台系统存放于"云脑",便于政府.企业或公众获取实用信息,实现按需服务模式,解决因服务平台系统数据量庞大难以有效管理的难题. 关键词: 云计算; 地理信息; 公共服务平台; 云脑; 按需服务 temp_12111909307851.rar

基于云计算的电力视频故障智能检测技术研究

基于云计算的电力视频故障智能检测技术研究 姚楠 余劲 在研究电力视频数字图像处理方法的基础上,结合电力系统网络现状,提出了基于云计算方法的电力视频故障及状态智能检测新技术架构.根据电力视频监控系统中的设备数量庞大.地域性广等特点,有效利用现有硬件设备资源实现全网的视频设备故障诊断及状态查询,支持多路视频并发和自动化周期性巡检.满足大规模数字视频监控系统的运行可靠性需求. 基于云计算的电力视频故障智能检测技术研究

IBM公司新推一个基于云计算的Web分析工具

据外媒报道,IBM最新推出了一个Web分析工具,结合了其现有的基于B/S架构的专业数据度量和分析工具CoreMetrics和营销分析服务Unica.IBM在去年耗资4.http://www.aliyun.com/zixun/aggregation/19203.html">8亿美元收购Unica,帮助企业分析客户数据,并预测他们的需求和行动,Unica在被收购时拥有超过1500家客户,除此之外,IBM在去年还收购了互联网分析软件公司Coremetrics,不过两家公司均未透露此并购的有关协议

总结Web数据挖掘技术教程

一.数据挖掘 数据挖掘是运用计算机及信息技术,从大量的.不完全的数据集中获取隐含在其中的有用知识的高级过程.Web 数据挖掘是从数据挖掘发展而来,是数据挖掘技术在Web 技术中的应用.Web 数据挖掘是一项综合技术,通过从Internet 上的资源中抽取信息来提高Web 技术的利用效率,也就是从Web 文档结构和试用的集合中发现隐含的模式. 数据挖掘涉及的学科领域和方法很多,有多种分类法. (1)根据挖掘对象分:关系数据库.面向对象数据库.空间数据库.时序数据库.DNA 数据库.多媒体数据库.异

基于云计算的网络威胁管理分析

本文讲的是基于云计算的网络威胁管理分析,[IT168 资讯]为什么现在的web威胁比过去的威胁更加难以处理呢?主要体现在以下几方面: 1. 数量.单在2008年,恶意代码就出现前所未有的增长,增长率达到200%. 2. 迅速的变化.攻击者知道如何更改恶意代码以绕过现有安全防御体系的检查. 3. 有针对性的隐形攻击.有些恶意代码在潜伏几个月后才被激活,而有些则是针对某些特定人群.特定地理位置.行业或者企业的. 4. 信任. 用户信任合法网站和社交网络,因此当用户受到感染或者被利用来启动互联网程序时

Ruby中的类Google Map/Reduce框架Skynet介绍_ruby专题

Skynet是一个很响亮的名字,因为它是阿诺施瓦辛格主演的经典系列电影<终结者>里面的统治人类的超级计算机网络.不过本文的Skynet没这么恐怖,它是一个ruby版本的Google Map/Reduce框架的名字而已. Google的Map/Reduce框架实在太有名气了,他可以把一个任务切分为很多份,交给n台计算机并行执行,返回的结果再并行的归并,最后得到运算的结果.据说Google一个搜索结果会Map到7000台服务器并行执行,这么多么可怕的分布式运算能力阿!有了Map/Reduce,程序