大数据的体系架构

&">nbsp;   有些数据架构师早已开始应对物联网 (IoT)与智能设备私人网络合作产生的巨量数据。 集成专家 Brian Anderson 是软件和过程开发公司 Notionovus 的总经理。 他在职业生涯早期担任 Caterpillar 公司的嵌入式系统编程员。在当时,他主要负责为车间的机器人车辆网络构建应用系统。

在 Caterpillar 公司任职的 25 年里,Anderson 还担任过工程部主管、制造工程师和 6 西格玛黑带。 换句话说,在 IoT 还未普及以前,他便已开始处理数据问题。

Potential at Work 就有关架构师如何准备现有环境,才能进行 IoT 固有的海量扩充和大量集成的问题,对 Anderson 进行了咨询。

对于那些正在试图为 IoT 数据集成奠定结构化方法基础的架构师,您有何建议?
    Anderson: 集成专业人员需着眼于四项关键过程指标 (KPI):速度、可靠性、成本和安全性。 在人们谈及良好或糟糕的集成体验时,上述四项面向客户的指标总会重复出现。 但在讨论 IoT 时,其关键的指标主要集中在安全性上。 设备归属于所有者,而所有者必定会有隐私方面的担忧。

IoT 竞争舞台的胜出者将会是那些可以提供最佳用户友好数据控件,而且能够严密锁定访问者查看内容的企业。 而失败者将会是那些暗中使用其设备所生成的数据窥探用户隐私的企业。 此外,还要寻求可以重复使用和利用现有代码库的工具。 这将减少对高度专业化人员的需求。

架构师的工作要更多地涉及全局思考以及对未来集成需求的预期,以便能够将灵活性置入其规划模型当中。 例如,如果数据架构师和数据集成专业人员忙于处理特定界面上的某个问题,则表明您是在浪费金钱,而不是在规划未来。

您如何将精益方法应用于非结构化的 IoT?
    Anderson: 坚持使用有助于构建透明集成的工具。 以端对端可见的方式深入了解信息的价值链对于测量 KPI 至关重要。 如果致力于持续改进,便不能使用黑箱系统。 避免开发多余的应用系统以及重新创造已建立的连接点。

补丁、更新和错误修复程序为非客户选项,而且带有附加价值,所以要专注于最大程度地降低发行代码的复杂性。 由于坏数据造成的成本非常高昂,因此在软件中置入数据验证可以提高价值。 在系统及其用户生成无错误数据时,验证是唯一的非增值选项。

数据架构师如何才能使企业数据管理策略适应 IoT?
    Anderson: 企业数据管理策略需要重新访问未来和现有数据流的存档、安全性和用例。 IoT 上所有增加的数据流都将对当前的操作产生巨大的影响。 您需要在适当的位置采用存档和数据保留策略,以最大化地利用海量增加的数据流,同时最大程度地减少数据管理系统占用空间。

时间: 2024-12-22 16:16:54

大数据的体系架构的相关文章

【阿里在线技术峰会】李金波:企业大数据平台仓库架构建设思路

本文根据阿里云高级技术专家李金波在首届阿里巴巴在线峰会的<企业大数据平台仓库架构建设思路>的分享整理而成.随着互联网规模不断的扩大,数据也在爆炸式地增长,各种结构化.半结构化.非结构化数据的产生,越来越多的企业开始在大数据平台下进行数据处理.分享中,李金波主要从总体思路.模型设计.数加架构.数据治理四个方面介绍了如何利用大数据平台的特性,构建更贴合大数据应用的数据仓库. 直播视频: (点击图片查看视频) 幻灯片下载:点此进入 以下为整理内容. 总体思路 随着互联网规模不断的扩大,数据也在爆炸式

如何做好大数据产品设计架构和技术策略?

作者经过研发多个大数据产品,将自己形成关于大数据知识体系的干货分享出来,希望给大家能够快速建立起大数据产品的体系思路,让大家系统性学习和了解有关大数据的设计架构. 很多人都看过不同类型的书,也接触过很多有关大数据方面的文章,但都是很零散不成系统,对自己也没有起到多大的作用,所以作者第一时间,带大家从整体体系思路上,了解大数据产品设计架构和技术策略. 大数据产品,从系统性和体系思路上来做,主要分为五步: 针对前端不同渠道进行数据埋点,然后根据不同渠道的采集多维数据,也就是做大数据的第一步,没有全量

以CPS(网络-实体系统)为核心的智能化大数据创值体系

美国早在2006年就提出了Cyber-Physical System(CPS), 也就是"网络-实体系统"(又译为"虚拟-实体系统"或"信息-物理系统"或"智能技术系统"等)的概念,并将此项技术体系作为新一代技术革命的突破点.同时,德国也提出工业4.0的核心技术是Cyber-Physical Production System (网络-实体生产系统),也就是CPS 技术在生产系统的应用. CPS的概念虽然看似很抽象,却可以用日

7月21日 企业大数据平台仓库架构建设思路直播视频

7月21日 企业大数据平台仓库架构建设思路--李金波(阿里云高级技术专家) 采访:我们该如何做好一个数据仓库? 演讲视频:https://yq.aliyun.com/edu/lesson/119 演讲整理文章:https://yq.aliyun.com/articles/57901 PDF下载:点此进入 现场问答整理:https://yq.aliyun.com/ask/36706/ 更多技术峰会视频资料详见:https://yq.aliyun.com/articles/57826

中国工程院院士沈昌祥:构建多层次、高质量的多重防御大数据防护体系

ZD至顶网CIO与应用频道 01月16日 北京消息:近日,由中国信息技术服务产业联盟主办,工业和信息化部软件与集成电路促进中心承办的第六届中国信息技术服务产业年会召开,探讨新常态和互联网+下信息技术服务产业的发展思路. 中国工程院院士沈昌祥认为,等级保护完全适合于大数据的处理,不同重要程度采取不同的管理安全措施来达到保障,全过程增加信息安全保障能力的. 中国工程院院士沈昌祥 以下为演讲实录: 大家已经知道了没有网络安全就没有国家安全.大数据已经成为信息行业的热题,大家都以大数据来处理各种问题.大

卫计委:2020年初步形成健康医疗大数据产业体系

国家卫生计生委副主任金小桃17日在国务院新闻办公室举行的国务院政策例行吹风会上介绍,我国将以保障全体人民健康为出发点,通过"互联网+健康医疗"探索服务新模式.培育发展新业态,到2020年建立国家医疗卫生信息分级开放应用平台,健康医疗大数据产业体系初步形成. 金小桃介绍,健康医疗大数据是涵盖人的全生命周期,既包括个人健康,又涉及医药服务.疾病防控.健康保障和食品安全.养生保健等多方面数据的汇聚和聚合.利用健康医疗大数据,不仅对改进健康医疗服务模式,而且对经济社会发展都有着重要的促进作用,

健康医疗大数据产业体系2020年形成

国务院办公厅24日公布了<关于促进和规范健康医疗大数据应用发展的指导意见>(简称<意见>),要求以保障全体人民健康为出发点,规范和推动政府健康医疗信息系统和公众健康医疗数据互联融合开放共享.专家认为,加速推进健康医疗大数据的深度研究和创新应用,对于变革医疗服务模式,创新医疗服务机制,提升医疗服务质量具有重要意义. <意见>提出,要夯实医疗健康大数据应用基础,建立全国健康医疗数据资源目录体系:深化医药卫生体制改革发展评估监测,促进医疗.医保.医药数据联动,完善疾病敏感信息

发改委:构建全国一体化国家大数据中心体系

3月17日,新华社发布<关于2016年国民经济和社会发展计划执行情况与2017年国民经济和社会发展计划草案的报告>. 报告中,发改委指出,加大对信息.民用空间.重大科技基础设施建设投入,支持北京怀柔.上海张江.安徽合肥综合性国家科学中心建设,建成一批产业创新中心,构建全国一体化的国家大数据中心体系.继续布局建设国家自主创新示范区.深入推进协同创新.扩大区域性成果转移转化试点示范,创建国家可持续发展议程创新示范区. 同时,继续实施国家科技重大专项,启动实施科技创新2030-重大项目.在重大创新领

构建影视产业大数据评估体系

[核心提示]通过对创作及观众收视行为分析,可以通过精准掌握某个播出渠道收视率较高的影视作品分析判断主流观众喜欢的影视剧类型,可以把握某一明星的市场关注度.媒体关注度,并根据综合数据指引影视剧生产,提高影视项目的成功率,进而避免影视资源浪费. 近年来,我国影视产业呈现高速增长态势,影视作品出品量居世界前列,与此相对,影视作品有高原无高峰的现象依然存在,我国影视产业供大于求的矛盾持续延伸,影视生产方式守旧.影视项目投资决策依赖直观感觉的情况未得到改善,急需构建基于大数据技术应用的影视评估服务体系.