技术创业难?看汇合营销如何玩转大数据与机器学习

11+大数据行业应用实践请见,同时这里还有流计算、机器学习、性能调优等技术实践。此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps;更多精彩内容参见大数据频道:https://yq.aliyun.com/big-data 。

自开始大数据创新案例探索之后,汇合营销(杭州汇江容海网络有限公司)是笔者走进的第二家公司,在拜访过程中, 通过CEO周鹏与CTO欧阳明对笔者了解到,在这个技术普惠的时代,汇合营销的发展之路铺设与架构。


汇合营销大数据规模与挑战

对于任何一家创业公司来说,成本与-效率都是一个不得不考虑的问题——周鹏。

汇合营销主要提供汇合DSP和汇合DMP两个平台,为电商为主的广告主提供推广服务。此外,在接受商家的精准化需求之后,根据具体的业务场景,为电商广告主提供精准化的营销广告。在整个过程中,周鹏表示,构建一个完善且能够持续服务的大数据平台成为关键,这需要大量的人力与物力;此外,这个平台还需要有足够的“弹性”来满足业务:既要撑得住双11期间的流量峰值,又要能够在平时做好运维成本控制。

峰值期间,汇合营销每天需要收集、分析和存储20多亿条的访客浏览轨迹;同时,还需要根据用户需求在亿级日志表中做秒级查询——欧阳明。

纵览汇合营销整个大数据系统,在技术挑战上,欧阳明主要归结于以下三条:

  • 大量的数据统计。汇合营销每天收集到的数据,多的时候一天有20多亿访客浏览轨迹,在DMP业务系统中,需要对每个访客的浏览内容进行分析,打上相应标签并进行统计;同时,数据分析师每天也需要产生各种报表,帮助客户进行广告优化。大量的数据存储、统计和大量的业务需求,这使得开发过程中,既要保证高效率,同时也要降低成本。
  • 实时大数据查询。广告商在后台的推广组选择标签时,系统需要在毫秒级的时间内显示标签的用户量并预估展现量信息,由于用户选择的标签一般都会比较多、条件比较复杂,并且每个标签的用户也可能重复,从而无法在用户选择标签前做预计算,必须每次在亿级日志表中查询,而且要保证平均延迟不超过1秒。
  • CTR预估。CTR预估能够决定广告的精准程度和带来的收益,是广告竞价系统中一个比较核心的部分。在汇合营销,我们使用业内优秀的大数据框架和机器学习算法,例如场感知分解机模型(FFM)、逻辑回归算法等,来训练收集到的TB级数据,将训练好的模型应用于CTR预估,提升了广告投放的精准度,从而有效提升广告效果。 

因此在考量了技术与资源之后,汇合营销选择了阿里云数加,通过云服务来取得技术与-效率优势,周鹏总结道。

汇合营销大数据系统架构

开发效率与使用门槛促促成了这个基于云的架构,最大程度减少了运维,即开即用,避免资源浪费——欧阳明。

欧阳明表示,数加有完善的大数据解决方案,能够与阿里云其他产品无缝对接。汇合营销使用了数加的大数据套件、ODPS、DataV和分析型数据库,也尝试了机器学习平台。具体参照下方架构图,通过阿里云数加产品确定的边界,整个系统架构非常清晰:

现在汇合营销大部分离线统计需求都在大数据套件中开发,将数据使用做到非常简单,只要能够写SQL,就可以导出自己需要的报表,满足了大部分的业务需求。此外,分析型数据库能够满足在亿级数据中做毫秒级查询,在数据分析方面,是一个非常不错的工具。在使用数加之前,汇合营销曾搭建了Spark和Hadoop,但每次数据报表都需要开发人员来导出,而且在维护、资源使用上都需要很好地平衡,使用和维护成本相对比较高。

而数加大大降低了数据使用门槛、提高开发效率,现在汇合营销的数据分析团队(非开发人员)都能够独立完成大部分的数据报表需求。此外,数加的按需计费避免了资源空闲,从年初的对比来看,数加在满足同等业务需求基础上能够减少一半的支出,有效地节约了成本开支,帮助创业型企业快速成长。

时间: 2024-12-03 15:39:32

技术创业难?看汇合营销如何玩转大数据与机器学习的相关文章

互联网营销如何玩转大数据

[赛迪网讯]去年4月份,企业数据软件公司Splunk在纳斯达克上市当日融资2.3亿美元,市值达到惊人的15.7亿美元的交易仍让人印象深刻.时隔一年,大数据带来的信息风暴正在变革我们的生活.工作和思维,并开启了一次重大的时代转型.有报道称2013年将是企业大规模采用大数据技术的一年,作为以数据和技术为主要驱动力的互联网广告行业,大数据将为其带来的将是无可限量的应用价值,也会在广告营销层面上帮助企业做得更好. 广告主一定十分关心大数据技术如何在广告领域中落地,将给营销带来哪些切实的益处.这些问题在前

风险管理更精准 银行也要玩转大数据

全球知名咨询公司麦肯锡在其发布的大数据报告中称:"数据,已经渗透到当今每一个行业和业务智能领域,成为重要的生产因素.人们对于海量数据的挖掘和运用,预示着新一波生产增长率和消费者盈余浪潮的到来." 大数据与各行各业的结合已经越来越紧密,拥有得天独厚大数据优势的银行也不例外.网上银行.手机银行.财富管理.信用卡平台等系统内的客户交易数据,核心系统.信贷系统.客户关系维护系统.计价系统等客户的基础信息,产生了大量的数据.这些数据可以帮助银行进行业务总结和洞察.细分客户.预见客户流失.提出增值

聚焦数字营销 看中美巨头如何玩转大数据

大数据已经算不上新事物,它已经从根本上改变了诸多行业--比如音乐.报纸.电影.零售等等.在数字营销领域,依托新技术的大数据所带来的改变更是颠覆性的. 聚焦数字营销看中美巨头如何玩转大数据 争夺数据资源巨头们开疆辟土 互联网广告曾被谷歌占据:亚马逊称霸在线零售:社交网络的巨头是脸书:而苹果公司则建立了交互式硬件设备的行业标准,被称作"人们数字生活的遥控器". 这也是美国互联网市场的现状.你可能认为四家公司能够很好地诠释市场细分,在零售.广告.硬件和社交网络各显其能,然而这并不是全部.这仅

数据可视化独领风骚:看这6家初创公司如何玩转大数据?

虽然可视化在数据分析领域算不上最具技术挑战性的部分,但是它绝对可以说是最重要的一个方面.当然,存储.数据库的查询处理以及算法都是非常的重要--可视化离开它们也无法实现--但是在一个数据驱动的世界里,它们只是处在基本层的位置.这里有6家创业公司,他们试图从根本上改变数据的可视化.其中有一些是高度复杂的可视化处理过程,有些不是.虽然没有一个是完美的,但他们所做的一切,会让我们反思:数据究竟意味着什么? Ayasdi Ayasdi来自印第安语,是"寻找"的意思.斯坦福大学的Gurjeet S

餐饮行业怎么才能玩转大数据?

中国餐饮市场这几年似乎进入了黄金发展期,在北上广深这样的一线城市里,每天都有150 家新开业的餐厅.他们的出现就是为了满足中国老百姓们变化多端的味蕾需求.但是,很少人观察到每天倒闭的餐厅也不在少数,毕竟商铺空间就那么些,旧的不去,新的不来. 作为美国硅谷回来的海归学子,大数据营销和人工智能从业者,连续创业爱好者(对未成功创业者的比较委婉的说法),我们看到餐饮行业是最不能被电商平台冲击的巨无霸领域.无论出于社交.商务还是娱乐休闲等原因,我们每天都有必要走进餐饮.挖掘(餐饮)大数据并用高性价比的方式

正确的理解,是玩转大数据的前提

眼下,无论是高校还是科研机构,以"大数据"为关键词的研讨会一拨接着一拨,云计算.物联网.智能终端--这些新概念串烧着出现,仿佛"大数据"正撬动着一个非"技术宅"免进的新世界. 到底什么是大数据的真面目?英国帝国理工学院终身教授.帝国理工数据科学研究所所长郭毅可给出的却是一个举重若轻的解释."大数据首先不是概念,而是一种现象.一种新发现的资源.就如同人类发现了新的石油一样--对大数据的发掘意味着可以创造财富,也正因此,大数据会引发一系列的

CIO沙龙深圳站:金融/制造业玩转大数据

本文讲的是CIO沙龙深圳站:金融/制造业玩转大数据,在互联网+.中国制造2025以及工业4.0的浪潮下,传统企业豁然开朗,似乎找到了转型升级.改革创新的救命稻草.但事实上没这么简单,面对这些大而空的概念,企业没有做好准备很难抓住这波机会,转型将是空谈,无法落地. ▲点击报名参加 找转型良方,来深圳CIO沙龙现场 机会不会从天上掉下来,而是需要企业掌握必备的基础能力,比如制造企业如何借助大数据技术,做到生产制造的精细化管理,节约企业经营成本,最大化市场竞争空间.金融企业如何借助大数据技术分析用户行

Facebook教你如何玩转大数据

不论"大数据"概念是不是个陷阱,我们的时代,互联网巨头坐拥海量信息是无人可以否认的事实,社区产品和社交产品赖以生存的基础就是从用户那儿来的数据. 他们都是怎样八仙过海.各显神通让你感受到大数据的?比如,去年年终的时候,你肯定看到众多好友在微信朋友圈儿分享了一张"订制"的图片,在微信产品成长历程的时间轴中标注你加入的时点:你可能在登录豆瓣电台后,才发现通过一个特别的回忆通道,豆瓣已经帮你记录了一年来的音乐足迹,从哪天注册哪天听第一首歌哪天听的很悲伤--无一遗漏:如果你

抗衡互联网冲击,购物中心要玩转大数据

大数据.云计算.互联网--这些虚拟空间的名词正在跟实体产业融合,互联网与传统行业之间的界限越来越模糊,飞凡.喵街.大众点评加上不计其数的O2O产品让实体商业变得越来越好玩,人们在虚虚实实之间享受着"互联网+"带来的方便.经济和愉悦感. 与此同时,还有一大批实体商业正在忙碌地编织着适合自己的互联网.大型的购物中心开始铺设免费Wi-Fi.导入Beacon微定位技术.建设在线商城.开展朋友圈营销--不亦乐乎地为迈进"互联网+"新时代准备着. 智慧商业,过去只存在于人们唠嗑