卷烟工业企业的数据仓库构建方法

  目前,卷烟工业企业以信息化带动工业化,信息技术向企业全面渗透,运用于各个流程,支持产品设计、生产、管理和运营的各个环节。通过“行业卷烟生产经营决策管理系统”平台,实现了卷烟计划取码和物流数码跟踪,以及生产打码、销售扫码的实物数据日报和工商数据采集。卷烟工业企业积累了大量的运营管理数据,但分散存储在不同的应用系统中,因此,传统的数据库应用系统已不能很好地支持决策,企业需要新的技术来弥补原有数据库系统的不足。数据仓库技术能跨越多个应用系统,集成、转换和汇总所需要的数据,表达完整的数据视图,并通过OLAP(Online Analytical Processing,联机分析处理)技术提供各种数据分析手段。

  1 数据仓库体系结构组成

   数据仓库以数据库为基础,但不是简单的多个数据库的集合。在业务系统中常用的数据库是操作型数据库,其数据组织主要是面向事务处理任务,即面向具体业务。与传统的操作型数据库比较,数据仓库的主要目的是支持分析决策,因此数据仓库中的数据是按照一定的主题进行组织的,这些数据常常会涉及多种业务或多个业务环节。所谓主题,是指一个较高管理层次意义上的数据综合、归类对象,它是与传统数据库面向应用相对应的。每一个主题基本对应于某一特定的分析领域,如生产、销售、客户等。数据仓库中的数据来源于操作型数据库和其他外部数据源,经过加工和集成加载到数据仓库中。

   数据仓库的体系结构通常包含4个层次:数据源、数据的存储与管理、数据访问服务、数据展现分析(见图1)。

  图1 数据仓库体系结构

   1.1 数据源

   数据源是数据仓库的数据源泉,不仅包括企业内部生产运营系统中的数据,也包括企业外部的市场信息、行业信息、经济信息等数据,以及各种文档资料。

   1.2 数据的存储与管理

   数据仓库通过ODBC(Open Database Connectivity,开放数据库连接)、JDBC(Java Database Connectivity,JAVA数据库连接)等数据库连接机制,或专用ETL(Extract Transform Load)工具连接各种数据源。这些数据经过抽取、清洗、转换和装载,按照主题重新组织,依照相应的存储结构存放在数据仓库中。也可以针对一些特定业务的主题建立数据集市,数据集市可以看作是数据仓库的一个子集,它含有较少的主题域,一般只能为某个局部范围内的管理人员服务,因此也称之为部门级数据仓库。

   1.3 数据访问服务

   为前端工具数据仓库中的数据进行复杂查询和多维分析处理提供系统后台支持。对分析的数据进行有效集成,按多维模型进行组织,提供联机分析处理(OLAP)服务。多维数据模型在物理实现时主要有3种方式:ROLAP结构(Relational OLAP,基于关系型数据库的OLAP实现)、MOLAP结构(Multi-dimension OLAP,基于多维数据库的OLAP实现)和HOLAP结构(Hybrid OLAP,基于混合数据组织的OLAP实现)。

   1.4 数据展现分析

   数据展现分析部分位于最顶层,是最终用户使用数据的窗口。数据建模、数据抽取对于最终用户是透明的,但却是数据展现分析的基础。数据展现分析工具的优劣直接影响着最终用户对数据仓库的应用及推广。

  2 数据仓库数据建模

   数据仓库的设计与联机事务处理(OLTP,On-Line Transaction Processing)系统的设计一样,需要先进行模型设计。数据建模是数据仓库开发过程中的关键步骤,包括概念模型、逻辑模型和物理模型设计(图2)。

  图2 数据仓库数据建模过程

   元数据是描述数据仓库内数据的结构和建立方法的数据,是关于数据的数据,通过元数据可以有效地利用数据仓库。数据粒度问题是设计数据仓库的一个重要方面,粒度是指数据仓库的数据单位中保存数据的细化或综合程度的级别。细化程度越高,粒度级就越小;相反,细化程度越低,粒度级就越大。在数据仓库中数据量大小与查询的详细程度之间要进行权衡。

  3 卷烟工业企业数据仓库架构设计

   目前卷烟工业企业大都开发了营销、生产、财务、原辅料、零配件、质量、设备、工艺、人力资源、办公自动化等管理信息系统,积累了大量的信息资源,因此,只有对这些数据进行合理的组织和有效分析才能提炼出有用信息。根据卷烟工业企业目前状况,宜建立与业务管理信息系统相分离的数据仓库应用系统,其最佳方式就是构建企业级数据仓库,发掘企业各种业务数据的价值,避免复投资建设,避免决策支持信息孤岛的产生。卷烟工业企业数据仓库逻辑架构设计见图3。

  图3 卷烟工业企业数据仓库架构

   在上述系统架构中,ETL服务器、数据仓库服务器、数据集市服务器、报表数据展现服务器均为逻辑服务器。是否采用独立的物理服务器,要根据企业具体需求、数据安全性要求和数据仓库应用的不同阶段进行考虑。该系统架构能够稳定而灵活地适应卷烟工业企业当前不断变化的管理需要,以及信息化规模和信息资源管理迅速发展的要求。各业务部门可以从不同的业务视角共享企业一致的数据,以统一的数据存储模型逐步集成各类业务数据,保证系统前期投入的可持续利用和系统的不断拓展。星型模型是数据模型设计的常用方式,大型企业数据仓库的主维度模型大约包括10~25个星型模型,每个星型模型通常连接5~15个维表。在进行设计时,不同事实表之间共享其中的许多维表。

  4 卷烟工业企业数据仓库的构建

   红塔集团公司采用SAPR3系统建立了企业的ERP平台,相继实施了生产计划与控制、物料管理、销售与分销、财务会计、成本控制、设备管理、质量管理、项目管理、预算管理等模块,积累了大量的详细的业务数据。根据集团公司管理需要,建立了企业级数据仓库BW(Busines information Warehouse,业务信息仓库)系统(图4),BW系统的应用服务器和数据库服务器布置在一台高性能的IBM RS/6000主机上。客户端提供有内嵌EXCEL报表的业务浏览器、WEB浏览器和管理员工作台模式。管理员工作台是系统的中央控制点,通过系统管理员对系统进行监控和管理。源系统包括集团公司的ERP平台SAP R3系统,以及其他非SAP的应用信息系统,或文本文件。该系统目前没有采用专门的ETL服务器,而是通过数据仓库服务器中的分段传输引擎,对采集数据进行筛选、清洗、转换、汇总和加载,系统也可采用其他专门的ETL工具进行数据抽取;前端工具采用两种方式访问数据仓库中的数据,即业务浏览器和WEB浏览器,支持这两种方式的报表数据展现服务集成在BW服务器内。随着应用的深入,集团公司准备建立独立的报表数据展现平台以提高数据展现和分析能力;多维数据立方体infocube和操作数据存储ODS是BW数据仓库的重要组成部分,其中多维数据立方体infocube是数据仓库中的逻辑数据集市,因此系统没有采用独立的数据集市服务器;BW服务器中内嵌了OLAP处理器,可以从数据库中检索数据,根据用户的请求进行数据分析并以直观的方式显示数据,实现数据钻取、数据切片等功能。

  图4 某卷烟集团公司的数据仓库BW系统示意图

   数据仓库建模设计时,根据实际管理需求,通过对业务数据进行整理和重新组织,形成各种数据维度模型。其中企业制造成本考核的数据模型如图5所示,是一种扩展的星型模型。该模型的数据更新周期为1周,数据的时间粒度为日。集团公司通过数据仓库BW系统提供的信息,实现对生产部门制造成本的动态分析,每月对生产部门进行成本考核,以控制和降低成本。

  图5 企业制造成本考核数据模型

  5 结 语

   在搭建企业级数据仓库时,要结合企业自身实际情况,灵活运用上述构建方法,充分了解和分析前台业务处理系统和应用,为各种分析应用提供统一的、整合的数据基础,保证企业不同业务部门从不同的视角都可以共享企业的数据,充分发挥数据的价值和作用。

时间: 2024-10-26 19:15:02

卷烟工业企业的数据仓库构建方法的相关文章

对烟草工业企业实施MES系统的实证分析

一.引 言 当前,国内烟草工业企业纷纷祭起科技兴烟的发展战略.在信息化建设中,生产执行系统 (Manufacturing Execution System,简称MES系统)具有重要作用.目前,应用MES系统的卷烟丁业企业已经有10余家,所取得的效果参差不齐,后续还有不少企业正在实施或计划实施MES系统. 二.MES系统在信息化建设中的集成效应 在企业信息化建设的过程中,很多卷烟工业企业在管理层已经建立了ERP(企业资源计划)等系统,同时,很多企业在管理层和设备层之间已经或正在建立MES系统,使生

基于阿里云数加MaxCompute的企业大数据仓库架构建设思路

  数加大数据直播系列课程,主要以基于阿里云数加MaxCompute的企业大数据仓库架构建设思路为主题,分享阿里巴巴的大数据是怎么演变以及怎样利用大数据技术构建企业级大数据平台.   本次分享嘉宾是来自阿里云大数据的技术专家祎休!   背景与总体思路   数据仓库是一个面向主题的.集成的.非易失的.反映历史变化的数据集合,用于支持管理决策.其结构图如下所示:     随着大数据.云计算等技术的应用和普及,互联网环境下数据处理呈现出新的特征:业务变化快:数据来源多:系统耦合多:应用深度深.业务变化

SQL Server四类数据仓库建模方法

  SQL Server四类数据仓库建模的方法主要分为以下四类. 第一类是关系数据库的三范式建模,通常我们将三范式建模方法用于建立各种操作型数据库系统. 第二类是Inmon提倡的三范式数据仓库建模,它和操作型数据库系统的三范式建模在侧重点上有些不同. Inmon的数据仓库建模方法分为三层,第一层是实体关系层,也即企业的业务数据模型层,在这一层上和企业的操作型数据库系统建模方法是相同的;第二层是数据项集层,在这一层的建模方法根据数据的产生频率及访问频率等因素与企业的操作型数据库系统的建模方法产生了

【直播沉淀】基于阿里云数加MaxCompute的企业大数据仓库架构建设思路

数加大数据直播系列课程,主要以基于阿里云数加MaxCompute的企业大数据仓库架构建设思路为主题,分享阿里巴巴的大数据是怎么演变以及怎样利用大数据技术构建企业级大数据平台. 本次分享嘉宾是来自阿里云大数据的技术专家祎休! 演讲1:背景与总体思路 演讲2:架构及模型设计 演讲3:基于阿里云数加搭建大数据仓库 演讲4:用大数据治理大数据

应对工控安全新形势 提升工业企业防护水平

--<工业控制系统信息安全防护指南>解读 工业和信息化部信息化和软件服务业司 工业控制系统信息安全(以下简称"工控安全")是国家网络和信息安全的重要组成部分,是推动<中国制造2025>.制造业与互联网融合发展的基础保障.2016年10月,工业和信息化部印发<工业控制系统信息安全防护指南>(以下简称<指南>),指导工业企业开展工控安全防护工作. 背景情况 工控安全事关经济发展.社会稳定和国家安全.近年来,随着信息化和工业化融合的不断深入,工

基于COOKIE的点击流数据仓库构建思路(一)

网站数据是企业数据的重要组成部分,在大型企业中,数据通常以关系型数据仓库进行存储.当然,部分企业也在向基于Hadoop等开源框架的分布式非关系型数据仓库结构转变,但这仍只是少数.大部分公司仍然是关系型数据仓库(RDB)居于主流.接下来的三篇文章会介绍三种基于Cookie的点击流数据仓库构建思路.本篇是第一篇,基于Adobe Sitecatalyst底层数据的数据仓库作为原型. 在用该工具的人都知道,在Marketing Cloud中有个DataWarehouse的工具,该工具的作用类似于Exce

互联网时代 医药工业企业网络营销之道

2012年开始,随着国家政策的支持和消费者购买习惯的转变,之前一直"清冷"的医药电商市场开始逐步升温,越来越多的医药工业企业开始准备试水医药电子商务.然而工业企业之前从未真正直面消费者.一旦"触网",面对全国范围的,海量的消费者时,订单处理.产品物流.售后服务.客户投诉处理--之前从未想到的问题接踵而至,都将使自营销售网站的工业企业不知所措,难以延续经营. 那么对于初次"触网"的工业企业,有没有更为稳妥的方式呢?答案是肯定的,方式有三:①工业企业

前11月规模以上工业企业实现利润同比增长49.4%

1-11月份,全国规模以上工业企业实现利润38828亿元, 同比增长49.4%. 在规模以上工业企业中,国有及国有控股企业实现利润11924亿元,同比增长59.1%:集体企业实现利润689亿元,增长34.6%:股份制企业实现利润21100亿元,增长49.4%:外商及港澳台商投资企业实现利润11131亿元,增长46.3%:私营企业实现利润10430亿元,同比增长49.4%. 在39个工业大类行业中,38个行业利润同比增长,1个行业利润下降.主要行业利润增长情况为:石油和天然气开采业利润同比增长65

前8月全国规模以上工业企业实现利润同比增长55%

1-8月份,全国规模以上工业企业实现利润26005亿元, 同比增长55%. 在规模以上工业企业中,国有及国有控股企业实现利润8423亿元,同比增长67.5%.集体企业实现利润471亿元,同比增长35.8%:股份制企业实现利润14056亿元,增长53.4%:外商及港澳台商投资企业实现利润7441亿元,增长54.5%.私营企业实现利润6715亿元,同比增长50.9%. 在39个工业大类行业中,36个行业利润同比增长,1个行业扭亏,2个行业利润下降.其中,石油和天然气开采业利润同比增长93.2%,黑色