初创企业的选择——MaxCompute

       前不久刚加入了一家初创公司,公司立足于已有数据资产,计划全力打造自有数据平台。对于刚起步的初创企业,节省的一分钟,无疑都能提高企业在众多竞争对手中的存活率。而自建大数据计算平台对于一个初创团队无论实在时间,人手,技术上无疑是难以实现的,而团队应该专注于业务逻辑的开发。上云成了创业团队踏入大数据大门的唯一选择。

       在选择产品之前,我们先对自己的需求进行了梳理。

       首先,日常的业务数据需要存储在关系型数据库中,用以保证事务的一致性。然后,需要在业务数据的基础上,周期性计算指标值,周期一般为日、周、每月。此外,为了实现数字化营销,还需要做大量的数据分析和部分数据挖掘。通过预估发现,业务数据中将有超过3张以上的核心表数据量达到千万以上,当需要进行指标计算时,无法在关系型数据库中完成关联查询。为了得到结果,必须选择另外一种数据计算和存储方式来完成清洗转换以及逻辑处理。同时要满足从关系型数据库到数据仓库的快速数据同步。
       经过多番对比选择,发现阿里的MaxCompute是一个具有良好生态,以及周边服务套件的大数据开发平台。从数据的采集,清洗到数据的处理,数据挖掘,数据的应用展现,数据流转的生命周期中,MaxCompute都有很好的周边产品。而MaxCompute也能无缝对接在ec2,存储等其他服务的数据。因此我们决定使用阿里云MaxCompute作为我们的大数据开发平台。
        系统中每天都有大量的运行结果从用户的iot设备中返回,进入Datahub中暂存,然后统一归档到MaxCompute等待处理。而有些返回的数据是错误的,或者是重复的,需要编写SQL计算任务来清洗与转换。

        数据仓库经过处理的数据,不单为业务数据库提供支持,另一个十分重要的进入Quick Bi。Qucik Bi为我们的运营人员提供了可量化的运营分析指导。对公司的运营方向,以及决策指导,都提供了意义巨大的作用。
        另一个作用巨大的套件则是推荐引擎。一部分数据通过在APP进行客户端埋点,另一部分则是数据仓库中的身体运动数据。和MaxCompute对接后,产出API接口供业务服务器调用。我们的业务主要是一些运动建议,以及周边产品的一些推荐。在推荐引擎控制台中,通过对指标的定义,来修正推荐效果。
       上云的好处是显而易见的。大大减少了无用的技术资源投入,尽可能的专注于业务开发。无需在基础设施中投入,为平台的部署,运维,稳定性投入大量的精力。另外MaxCompute图形化的任务界面,也让开发人员轻松的了解任务的运行状态,数据的流转流程。

时间: 2024-09-14 23:15:57

初创企业的选择——MaxCompute的相关文章

这家初创企业专门寻找容器中的漏洞

本文讲的是 这家初创企业专门寻找容器中的漏洞,这家新近重新起名的公司表示,只靠寻找已知问题并不能找到容器中的漏洞. 应用容器领域的新兴市场十分不稳定,这也是Scalock如今将自己更名为Aqua Security的原因之一.在经过几个月的测试之后,Aqua Container Security平台在5月18日公开发布,为那些想要寻找容器安全解决方案的企业提供了又一条可行路径. Aqua Security公司联合创始人.CTO阿米尔·杰比 (Amir Jerbi) 对媒体解释了从Scalock换为

20人以内中小型初创企业办公解决方案

20人以内的中小型初创企业,在办公方案的选择上就相对比较灵活了.笔者建议,在办公电脑上,可以选择台式机+笔记本的组合,台式机能够有效的降低成本,笔记本则方便移动办公的需求.在网络上面,最好选择有线+无线的组合方案,产品上可以选择一台无线路由器+一台交换机.在服务器的选择上,最好选择一台塔式服务器,即可以搭建内部邮件,又能够做为文件或软件存储服务器来用.以下,是笔者为大家推荐的几款产品,供参考. 一.台式机推荐:戴尔Vostro成就20 3000一体机(2749元) 考虑到中小企业办公室空间有问题

定制化分析API初创企业Keen IO获235万美元融资

 自定义分析API初创企业Keen IO刚刚在附加种子轮融资中获得235万美元. 市面上的分析服务很多,但是未必能完全你的分析需求.这个时候你有两种选择,要么是自己从头开发系统,要么提供数据,利用第三方的分析功能组合出自己想要的结果.Keen IO就能提供这种服务. Keen IO于2012年推出了beta版,并在今年4月推出了付费服务. Keen IO可以提供一组工具及API供开发者用来开发自己的分析产品.根据其说法,Keen IO可帮助客户收集任何来源的数据,然后存储起来,并对这些数据以客户

向阳网络:跬步千里,且看初创企业的上云之路

零成本体验专业云计算服务,助力用户稳步上云--阿里云的免费套餐活动自推出以来,便受到企业和个人的极大欢迎. 作为该活动的深度参与者之一,汕头市向阳网络科技有限公司结合了电商.微商.营销策划广告.线上线下销售.软件技术开发.大数据收集储存等模式,帮助现有品牌客户提供更科学的"去库存"化,为更多商业链接形成了"阳光"的发展模式. 初创公司的上云窘境 目前我们公司30多人的规模下,有着营销策划.电商.微商领域专业的技能与团队,致力于为客户提供宝贵的营销一体化方案.在国家大

美国今年已问世的12家顶尖初创企业

尽管资本融资市场在2016年迎来了寒冬,但这似乎丝毫没有阻碍优秀的科技初创企业在今年成长.对此,BI日前根据从知名投资机构和投资人处得到的信息以及企业的近期发展情况为我们整理出了2016年问世的12家顶尖初创企业,以下是具体内容:StarryStarry最早成立于今年1月,其创始人是前Aereo CEO查特-卡诺家(ChetKanojia).该公司希望以更低的价格在全美国推出10倍于当前网速的无线宽带网络,从而与当地提供宽带服务的有线电视公司和电话公司竞争.Starry的首个产品将是WiFi路由

优秀项目推荐:2013年上半年国内优秀初创企业汇总

本文总结了2013年上半年上线的或者关注度相对较高的国内优秀的初创企业,内容来自于天涯海阁上Web2.0Share周刊中每周精选的国内初创企业: Voice360是通过手机喇叭发送音频信号(用的10K左右的无声信号),再用麦克风接收解码以实现近距离数据交换的跨时代技术,voice360 SDK,可以快速集成声波通讯功能,实现近距离的数据交换.身份验证.文件共享等. 链接:http://www.voice360.cn/ 车控股有限公司致力于成为中国最大.最专业的二手车交易服务提供商,以 O2O(o

从应用角度谈谈初创企业服务器采购建议与解决方案

在<初创小型企业服务器选择攻略>文章中,笔者已经为大家简单的介绍了服务器的一些选择要点.目前,最基本的服务器应用有邮件服务器.Web服务器.终端服务器.文件服务器.数据库服务器等.不同的应用对于服务器配置侧重点不同.接下来,我们看一下针对不同的应用,需要选择什么样的服务器. 一)存储服务器 存储服务器的主要任务是用来对企业的文件进行管理和归档,并供员工随时调用.从实际应用角度来讲,存储服务器对服务器硬件的要求并不是特别高,反倒是对网络有着极高的要求.不过,由于需要对文件或软件进行读写,因此对服

大数据分析初创企业Alpine获1600万美元融资

11月23日消息,Alpine Data Labs是在大数据时代中弄潮的最新一家初创企业,该公司刚刚获得了1600万美元的融资,此轮融资由http://www.aliyun.com/zixun/aggregation/14274.html">Sierra Ventures.Mission Ventures等提供. Alpine成立于2010年,总部位于旧金山.很多的大数据初创企业做的是数据可视化,而Alpine主要提供的是大数据及Hadoop的预测性分析功能.而且这种预测性分析跟IBM或O

什么样的企业可以称之为初创企业?

本文讲的是 什么样的企业可以称之为初创企业?,"初创企业"一词在过去往往代表着"创新"和"颠覆",但现如今,这个词似乎已经越来越多地成为"时尚"和"潮流"的代名词. 要定义技术创新的概念应该很容易.在硅谷的定义中,创新企业(或初创企业)指的是那些由自然投资人创建的公司,而非那些使用既有公司营业收入进行投资组建的公司,这些公司都通过使用技术手段做一些普通的在职人员不会做的颠覆性工作.初创企业通常以创办人为核心