免费开通大数据服务:https://www.aliyun.com/product/odps
“对于创业公司来讲,如果不能在业务端快速行动,机会转瞬即逝。”汇合营销CTO欧阳明如是说。“数加的按需计费避免了资源空闲,从年初的对比来看,数加在满足同等业务需求基础上能够减少一半的支出,有效地节约了成本开支,帮助创业型企业快速成长。”
关于汇合营销
杭州汇江容海网络有限公司(以下简称汇合营销)是一家以精准营销广告技术与服务为长的互联网企业,专注于为品牌电商提供数字化广告投放,监测及优化一站式服务。汇合营销基于大数据技术,主要提供两大平台“汇合DSP”精准广告投放平台和“汇合DMP”大数据管理平台。于2014年推出国内首家面向电商商家的广告交易平台“汇合DSP”:基于电商大数据分析与挖掘技术、多年的网络营销经验以及丰富的人群购物行为数据库,重新定义品牌电商的营销方式根据品牌广告主的营销需求点,精准锁定目标受众,真正实现广告精准投放。
汇合营销具有数据、技术和媒体三大优势。首先,汇合营销具有丰富的数据标签:能够基于汇合DMP日活6.5亿cookie及消费者人群标签系统,获取精准客户。其次,汇合营销基于程序化购买技术,利用业内领先的大数据框架和机器学习算法,全方位分析网购人群行为,完成360°用户画像,有效提升广告投放的精准度。最后,汇合营销跨屏覆盖3.5亿网购人群,并且对接阿里TANX、百度BES、腾讯广点通、新浪、多盟等主流媒体资源,广告有效曝光达近百亿次。汇合营销覆盖98%主流媒体资源,日广告流量达5亿+。
挑战
汇合营销作为定位于精准营销服务的提供商,客户一般有两种需求,一种是以提升转化为目的,称为效果广告;另一种是通过优化广告定向,提高广告展现量,提升品牌认知,称为品牌广告。汇合营销在接受商家的精准化需求之后,会根据具体的业务场景,为电商广告主提供精准化的营销广告。在整个过程中,CEO周鹏表示,构建一个完善且能够持续服务的大数据平台成为关键。汇合营销在大数据方面主要存在以下挑战:
1.汇合营销作为一个创业公司,资源有限,需要投入尽量少的人力物力用于大数据平台建设,需要具有最高性价比的大数据平台。
2.大数据平台能够满足业务敏捷性的需要,需要能够满足客户不断变化的需求。此外,这个平台还需要有足够的“弹性”来满足业务:既要撑得住双11期间的流量峰值,又要能够在平时做好运维成本控制。
3.高效低成本的海量数据统计分析。汇合营销每天收集到的数据,多的时候一天有20多亿访客行为,在DMP业务系统中,需要对每个访客的浏览内容进行分析,打上相应标签并进行统计;同时,分析师每天也需要产生各种报表,帮助客户进行广告优化。大量的数据存储、统计和大量的业务需求,这使得开发过程中,既要保证高效率,同时也要降低成本。
4.数据查询分析的实时性。广告商在后台的推广组选择标签时,系统需要在毫秒级显示标签的用户量并预估展现量信息,由于用户选择的标签一般都会比较多、条件比较复杂,然后每个标签的用户也可能重复,从而无法在用户选择标签前做预计算,必须每次在亿级日志表中查询,而且要保证平均延迟不超过1秒。
5.CTR预估。CTR预估能够决定广告的精准程度和带来的收益,是广告竞价系统中一个比较核心的部分。因此,CTR预估算法模型的构建为重中之重,需要强大的大数据平台的支撑。
为什么选择阿里云数加
在使用数加之前,汇合营销曾搭建了Spark和Hadoop,搭建物理集群首先需要基础设施的投入,包括-带宽和硬件等,其次还需要系统运维和-冗余设备的投入,主要是大量的人力物力投入,例如每次数据报表都需要开发人员来导出,技术门槛较高,而且在维护、资源使用上都需要很好地平衡。而数加大数据平台无需这些投入,按需付费即可满足弹性满足需求。经过汇合营销实际比对,MaxCompute的月费用仅为同等物理CPU和有效存储的Hadoop及Spark月分摊折算费用的70%。而且相对于其他公有云大数据平台,阿里云数加平台也具有较高的价格优势。
数加还大大降低了数据使用门槛并提高开发效率,现在汇合营销的数据分析团队(非开发人员)都能够独立完成大部分的数据报表需求。
“因此在考量了技术与资源之后,汇合营销选择了阿里云数加,通过云服务来取得技术与效率优势。”CEO周鹏总结道。
解决方案及架构
汇合营销CTO欧阳明表示,数加有完善的大数据解决方案,能够与阿里云其他产品无缝对接。汇合营销使用的阿里云数加产品及组件有:
• 大数据开发套件(DataIDE)https://data.aliyun.com/product/ide
• 大数据计算服务(MaxCompute)https://www.aliyun.com/product/odps
• 分析型数据库(AnalyticDB)https://www.aliyun.com/product/ads
• DataV数据可视化https://data.aliyun.com/visual/datav
• 机器学习https://data.aliyun.com/product/learn
基于阿里云数加平台,汇合营销搭建了核心的大数据精准营销平台。具体参照下方架构图,通过阿里云数加产品确定的边界,整个系统架构非常清晰。
汇合营销的日志数据全部存储在大数据计算服务MaxCompute中,大部分离线统计需求都在大数据开发套件DataIDE中开发,将数据使用做到极简,只要使用者会写SQL,就可以制作并导出自己需要的报表,满足了公司大部分的业务需求。此外,分析型数据库能够满足在亿级数据中做毫秒级查询,在即席查询及数据分析方面,能够满足数据实时计算处理的需求。另外,还基于DataV打造的双十一实时直播大屏,如右图所示:
另外,汇合营销还在深入研究数加平台的机器学习组件,会逐步将开源大数据平台中的机器学习相关业务应用迁移到基于MaxCompute的机器学习平台之上。
收益
1. 如上所述,阿里云数加具有较低的使用门槛和较高的开发效率,而且相对于自建和其他云服务平台有着较大的TCO(总拥有成本)优势。“数加的按需计费避免了资源空闲,从年初的对比来看,数加在满足同等业务需求基础上能够减少一半的支出,有效地节约了成本开支,帮助创业型企业快速成长。”欧阳明说到。
2.数加平台的弹性有力的支撑了业务的灵活和敏捷性。数加平台最大程度减少了运维,即开即用,避免资源浪费,并且可以最经济的对大数据资源进行调整,灵活快速的响应市场和业务需求变化。“对于创业公司来讲,如果不能在业务端快速行动,机会转瞬即逝。”欧阳明如是说。
3.数加平台帮助汇合营销确立上述三大优势之一之技术优势,打破了海量数据处理分析和实时查询分析的技术瓶颈。 “峰值期间,汇合营销每天通过数加收集、分析和存储20多亿条的访客行为;同时,还会根据用户需求在亿级日志表中做秒级查询。”欧阳明说到。
4.阿里云数加的机器学习平台具有低门槛、易上手的特点,提供了数据预处理、特征工程、机器学习算法、预测和评估、在线预测这些一站式数据挖掘流程的全部组件,并且所有算法都来自于阿里巴巴集团内部多年的沉淀,全部经历过大数据业务的锤炼,具备高成熟度。作为精准营销广告提供商,算法模型的好坏直接与最终收益挂钩,因此选择好的工具可以起到事半功倍的效果。基于数加机器学习的以上特点,汇合营销所有的算法模型如CTR预估模型都会基于此平台来搭建。