在Hadoop集群下的智能电网数据云仓库设计

在Hadoop集群下的智能电网数据云仓库设计

郑柏恒 孟文 易东 梁晓波

针对电网数据规模大、类型多、价值密度小、变化速度快、地理位置离散的特点,为了对这些数据进行有效、可靠、低廉地存储以及快速地访问与分析,满足智能电网运行、检修、效益管理等应用的需求,提出了在Hadoop廉价PC机集群下的智能电网数据云仓库的解决方案,为挖掘海量电网数据提供有效、可靠、低廉的工具。首先分析了电网大数据的特点,再结合IEC61970标准通用信息模型的特点,基于Hadoop框架,设计出满足电网大数据处理需求的电力信息云仓库。最后通过以调度系统使用云仓库为例,测试云仓库的性能,证明了电力信息云仓库在应用上具有高效、可靠、廉价的优势。

在Hadoop集群下的智能电网数据云仓库设计

时间： 2025-01-28 05:43:07

在Hadoop集群下的智能电网数据云仓库设计的相关文章

Hadoop集群下的并行克隆代码检测

Hadoop集群下的并行克隆代码检测 叶林   姚国祥 克隆代码会导致项目的维护困难,削弱项目的健壮性,并且克隆代码中所包含的 bug 会破坏整个项目.当前克隆代码检测技术或者拘泥于只能检测少数几种克隆代码,或者需要极高的检测时间.而且如果需要检测大量的源代码,一台机器的主存也许无法存储所有的信息.对克隆代码检测技术的并行运行进行了可能性研究,使用基于程序依赖图的克隆代码检测技术,这种技术不仅可以检测出语法上的克隆,也可以检测出语义上的克隆,提出了一个并行子图同构检测方法并使用 MapRe-du

大数据-hdoop集群下各hbase的数据是一样的吗？

问题描述 hdoop集群下各hbase的数据是一样的吗? 场景:要把全国31个省的数据从原来的oracle数据库导入到现在的hadoop集群,采用大数据以提高效率. 现在的环境是10台机器,Hadoop集群 问题是Hadoop集群的工作原理是怎样的?是把31个省的数据都导入每台机器的hbase还是每台机器的hbase导几个省,总共是31个省?怎么保证效率? 不懂吖 刚接触. 解决方案 10台机器的hadoop集群上配置hbase 分表空间 导入数据就可以了 都说了是集群了 所以10台用的是一份数

大数据探索：在树莓派上通过 Apache Spark on YARN 搭建 Hadoop 集群

有些时候我们想从 DQYDJ 网站的数据中分析点有用的东西出来,在过去,我们要用 R 语言提取固定宽度的数据,然后通过数学建模来分析美国的最低收入补贴,当然也包括其他优秀的方法. 今天我将向你展示对大数据的一点探索,不过有点变化,使用的是全世界最流行的微型电脑----树莓派,如果手头没有,那就看下一篇吧(可能是已经处理好的数据),对于其他用户,请继续阅读吧,今天我们要建立一个树莓派 Hadoop集群! I. 为什么要建立一个树莓派的 Hadoop 集群? 由三个树莓派节点组成的 Hadoop 集

虚拟化Hadoop集群的部署和管理：基本操作

在Big Data Extensions(BDE)上不仅可以在分钟级别非常快速地部署Hadoop集群,这点可以通过前文<大数据虚拟化零起点-6基础运维第五步-使用CLI创建Apache Hadoop集群>和<大数据虚拟化零起点-7基础运维第六步-安装Big Data Extensions Plugin>感受到.部署完成后,BDE还能够方便地管理它们,从软件定义的角度,通过简单的图形界面和直观的命令行两种方法对集群的对象进行管理.下面我们就具体展开,讨论这些日常所需的集群运行管理.

Ubuntu12.04 Server下安装部署Cloudera Hadoop集群

部署环境 OS: Ubuntu12.04 Server Hadoop:CDH3U6 机器列表:namenode 192.168.71.46:datanode 192.168.71.202,192.168.71.203,192.168.71.204 安装Hadoop 添加软件源 /etc/apt/sources.list.d/cloudera-3u6.list 插入 deb  http://192.168.52.100/hadoop maverick-cdh3 contrib deb-src  h

Linux服务器下搭建hadoop集群环境 redhat5/Ubuntu 12.04

Ubuntu 12.04 下搭建 hadoop 集群环境步骤 一. 搭建环境前的准备: 我的本机Ubuntu 12.04 32bit作为maser,就是上篇hadoop单机版环境搭建时用的那台机子,http://www.linuxidc.com/Linux/2013-01/78112.htm 还在KVM中虚拟了4台机子,分别起名为: son-1        (ubuntu 12.04 32bit),son-2        (ubuntu 12.04 32bit),son-3        (

window下myeclipse的插件连接linux的hadoop集群

问题描述 window下myeclipse的插件连接linux的hadoop集群 解决方案 MyEclipse 配置 Hadoop 插件hadoop-1.2.1 win7 myeclipse 插件编译windows/ Linux下 myeclipse和eclipse下安装配置hadoop插件 解决方案二: http://www.silverlightchina.net/html/windows8/study/2013/0203/21803.html

window下连接hadoop集群报错

问题描述 window下连接hadoop集群报错 window下连接hadoop集群报错,已经把hadoop.dll放在window下的hadoop的bin目录了,system32也放了,还是无效,请问怎么办?? 解决方案 这是异常了吧,调用有问题.对应hadoop安装好了没 解决方案二: http://www.cnblogs.com/heyonggang/archive/2012/12/21/2827838.html 解决方案三: window下连接hadoop集群基础超详细版Window下使

windows7下搭建hadoop集群环境

问题描述 有人会在win7下搭建hadoop集群环境吗?我急需要搭建,有会的帮帮忙吧,我整了两天了没弄出来,着急死了!cygwin安装完运行sshlocalhost出现这种错误,是怎么回事啊? 解决方案 解决方案二:我是真心不会,帮顶吧,有份资料可以参考下,去搜"王家林hadoop".解决方案三:楼上的问题解决了吗?我跟你遇到了完全相同的问题~跪求答案