用户画像数据建模方法

原文
http://blog.baifendian.com/?p=8015

从1991年Tim Berners-Lee发明了万维网(World Wide Web)开始,到20年后2011年,互联网真正走向了一个新的里程碑,进入了“大数据时代”。经历了12、13两年热炒之后,人们逐渐冷静下来,更加聚焦于如何利用大数据挖掘潜在的商业价值,如何在企业中实实在在的应用大数据技术。伴随着大数据应用的讨论、创新,个性化技术成为了一个重要落地点。相比传统的线下会员管理、问卷调查、购物篮分析,大数据第一次使得企业能够通过互联网便利地获取用户更为广泛的反馈信息,为进一步精准、快速地分析用户行为习惯、消费习惯等重要商业信息,提供了足够的数据基础。伴随着对人的了解逐步深入,一个概念悄然而生:用户画像(UserProfile),完美地抽象出一个用户的信息全貌,可以看作企业应用大数据的根基。

一、什么是用户画像?

男,31岁,已婚,收入1万以上,爱美食,团购达人,喜欢红酒配香烟。

这样一串描述即为用户画像的典型案例。如果用一句话来描述,即:用户信息标签化。

如果用一幅图来展现,即:

二、为什么需要用户画像

用户画像的核心工作是为用户打标签,打标签的重要目的之一是为了让人能够理解并且方便计算机处理,如,可以做分类统计:喜欢红酒的用户有多少?喜欢红酒的人群中,男、女比例是多少?

也可以做数据挖掘工作:利用关联规则计算,喜欢红酒的人通常喜欢什么运动品牌?利用聚类算法分析,喜欢红酒的人年龄段分布情况?

大数据处理,离不开计算机的运算,标签提供了一种便捷的方式,使得计算机能够程序化处理与人相关的信息,甚至通过算法、模型能够“理解” 人。当计算机具备这样的能力后,无论是搜索引擎、推荐引擎、广告投放等各种应用领域,都将能进一步提升精准度,提高信息获取的效率。

三、如何构建用户画像

一个标签通常是人为规定的高度精炼的特征标识,如年龄段标签:25~35岁,地域标签:北京,标签呈现出两个重要特征:语义化,人能很方便地理解每个标签含义。这也使得用户画像模型具备实际意义。能够较好的满足业务需求。如,判断用户偏好。短文本,每个标签通常只表示一种含义,标签本身无需再做过多文本分析等预处理工作,这为利用机器提取标准化信息提供了便利。

人制定标签规则,并能够通过标签快速读出其中的信息,机器方便做标签提取、聚合分析。所以,用户画像,即:用户标签,向我们展示了一种朴素、简洁的方法用于描述用户信息。

3.1 数据源分析

构建用户画像是为了还原用户信息,因此数据来源于:所有用户相关的数据。

对于用户相关数据的分类,引入一种重要的分类思想:封闭性的分类方式。如,世界上分为两种人,一种是学英语的人,一种是不学英语的人;客户分三类,高价值客户,中价值客户,低价值客户;产品生命周期分为,投入期、成长期、成熟期、衰退期…所有的子分类将构成了类目空间的全部集合。

这样的分类方式,有助于后续不断枚举并迭代补充遗漏的信息维度。不必担心架构上对每一层分类没有考虑完整,造成维度遗漏留下扩展性隐患。另外,不同的分类方式根据应用场景,业务需求的不同,也许各有道理,按需划分即可。

本文将用户数据划分为静态信息数据、动态信息数据两大类。

 静态信息数据

用户相对稳定的信息,如图所示,主要包括人口属性、商业属性等方面数据。这类信息,自成标签,如果企业有真实信息则无需过多建模预测,更多的是数据清洗工作,因此这方面信息的数据建模不是本篇文章重点。

动态信息数据

用户不断变化的行为信息,如果存在上帝,每一个人的行为都在时刻被上帝那双无形的眼睛监控着,广义上讲,一个用户打开网页,买了一个杯子;与该用户傍晚溜了趟狗,白天取了一次钱,打了一个哈欠等等一样都是上帝眼中的用户行为。当行为集中到互联网,乃至电商,用户行为就会聚焦很多,如上图所示:浏览凡客首页、浏览休闲鞋单品页、搜索帆布鞋、发表关于鞋品质的微博、赞“双十一大促给力”的微博消息。等等均可看作互联网用户行为。

本篇文章以互联网电商用户,为主要分析对象,暂不考虑线下用户行为数据(分析方法雷同,只是数据获取途径,用户识别方式有些差异)。

在互联网上,用户行为,可以看作用户动态信息的唯一数据来源。如何对用户行为数据构建数据模型,分析出用户标签,将是本文着重介绍的内容。

3.2 目标分析

用户画像的目标是通过分析用户行为,最终为每个用户打上标签,以及该标签的权重。如,红酒 0.8、李宁 0.6。

标签,表征了内容,用户对该内容有兴趣、偏好、需求等等。

权重,表征了指数,用户的兴趣、偏好指数,也可能表征用户的需求度,可以简单的理解为可信度,概率。

 3.3 数据建模方法

下面内容将详细介绍,如何根据用户行为,构建模型产出标签、权重。一个事件模型包括:时间、地点、人物三个要素。每一次用户行为本质上是一次随机事件,可以详细描述为:什么用户,在什么时间,什么地点,做了什么事。

什么用户:关键在于对用户的标识,用户标识的目的是为了区分用户、单点定位。

以上列举了互联网主要的用户标识方法,获取方式由易到难。视企业的用户粘性,可以获取的标识信息有所差异。

什么时间:时间包括两个重要信息,时间戳+时间长度。时间戳,为了标识用户行为的时间点,如,1395121950(精度到秒),1395121950.083612(精度到微秒),通常采用精度到秒的时间戳即可。因为微秒的时间戳精度并不可靠。浏览器时间精度,准确度最多也只能到毫秒。时间长度,为了标识用户在某一页面的停留时间。

什么地点:用户接触点,Touch Point。对于每个用户接触点。潜在包含了两层信息:网址 + 内容。网址:每一个url链接(页面/屏幕),即定位了一个互联网页面地址,或者某个产品的特定页面。可以是PC上某电商网站的页面url,也可以是手机上的微博,微信等应用某个功能页面,某款产品应用的特定画面。如,长城红酒单品页,微信订阅号页面,某游戏的过关页。

内容:每个url网址(页面/屏幕)中的内容。可以是单品的相关信息:类别、品牌、描述、属性、网站信息等等。如,红酒,长城,干红,对于每个互联网接触点,其中网址决定了权重;内容决定了标签。

注:接触点可以是网址,也可以是某个产品的特定功能界面。如,同样一瓶矿泉水,超市卖1元,火车上卖3元,景区卖5元。商品的售卖价值,不在于成本,更在于售卖地点。标签均是矿泉水,但接触点的不同体现出了权重差异。这里的权重可以理解为用户对于矿泉水的需求程度不同。即,愿意支付的价值不同。

标签 权重

矿泉水 1 // 超市

矿泉水 3 // 火车

矿泉水 5 // 景区

类似的,用户在京东商城浏览红酒信息,与在品尚红酒网浏览红酒信息,表现出对红酒喜好度也是有差异的。这里的关注点是不同的网址,存在权重差异,权重模型的构建,需要根据各自的业务需求构建。

所以,网址本身表征了用户的标签偏好权重。网址对应的内容体现了标签信息。

什么事:用户行为类型,对于电商有如下典型行为:浏览、添加购物车、搜索、评论、购买、点击赞、收藏 等等。

不同的行为类型,对于接触点的内容产生的标签信息,具有不同的权重。如,购买权重计为5,浏览计为1

红酒 1 // 浏览红酒

红酒 5 // 购买红酒

综合上述分析,用户画像的数据模型,可以概括为下面的公式:用户标识 + 时间 + 行为类型 + 接触点(网址+内容),某用户因为在什么时间、地点、做了什么事。所以会打上**标签。

用户标签的权重可能随时间的增加而衰减,因此定义时间为衰减因子r,行为类型、网址决定了权重,内容决定了标签,进一步转换为公式:

标签权重=衰减因子×行为权重×网址子权重

如:用户A,昨天在品尚红酒网浏览一瓶价值238元的长城干红葡萄酒信息。

  • 标签:红酒,长城
  • 时间:因为是昨天的行为,假设衰减因子为:r=0.95
  • 行为类型:浏览行为记为权重1
  • 地点:品尚红酒单品页的网址子权重记为 0.9(相比京东红酒单品页的0.7)

假设用户对红酒出于真的喜欢,才会去专业的红酒网选购,而不再综合商城选购。

则用户偏好标签是:红酒,权重是0.95*0.7 * 1=0.665,即,用户A:红酒 0.665、长城 0.665。

上述模型权重值的选取只是举例参考,具体的权重值需要根据业务需求二次建模,这里强调的是如何从整体思考,去构建用户画像模型,进而能够逐步细化模型。

四、总结

本文并未涉及具体算法,更多的是阐述了一种分析思想,在计划构建用户画像时,能够给您提供一个系统性、框架性的思维指导。

核心在于对用户接触点的理解,接触点内容直接决定了标签信息。内容地址、行为类型、时间衰减,决定了权重模型是关键,权重值本身的二次建模则是水到渠成的进阶。模型举例偏重电商,但其实,可以根据产品的不同,重新定义接触点。

比如影视产品,我看了一部电影《英雄本色》,可能产生的标签是:周润发 0.6、枪战 0.5、港台 0.3。

最后,接触点本身并不一定有内容,也可以泛化理解为某种阈值,某个行为超过多少次,达到多长时间等。

比如游戏产品,典型接触点可能会是,关键任务,关键指数(分数)等等。如,积分超过1万分,则标记为钻石级用户。钻石用户 1.0。

百分点现已全面应用用户画像技术于推荐引擎中,在对某电商客户,针对活动页新访客的应用中,依靠用户画像产生的个性化效果,对比热销榜,推荐效果有显著提升:推荐栏点击率提升27%, 订单转化率提升34%。

作者:百分点技术总监 郭志金

时间: 2024-12-22 14:44:21

用户画像数据建模方法的相关文章

让GridView只显示特定用户的数据的方法_实用技巧

1.新建一个Label1来储存username,这个是我这个方法成功的关键,因为我尝试用Session("username")失败. 改用control 来传递变量,成功! 2."GridView tasks"--"configure Data Source"--一路next下去---到了"Define Custom Statements or Stored Procedures"窗口.把SQL Selete 语句 SELEC

金融行业大数据用户画像实践

进入移动互联网时代之后,金融业务地域限制被打破.金融企业没有固定业务区域,金融服务面对所有用户是平的. 金融消费者逐渐年轻化,80.90后成为客户主力,他们的消费意识和金融意识正在增强.金融服务正在从以产品为中心,转向以消费者为中心.所有金融行业面对的最大挑战是消费者的消费行为和消费需求的转变,金融企业迫切需要为产品寻找目标客户和为客户定制产品. 一.用户画像背后的原因 1.金融消费行为的改变,企业无法接触到客户 80后.90后总计共有3.4亿人口,并日益成为金融企业主要的消费者,但是他们的金融

干货:如何构建用户画像

一.什么是用户画像? 男,31岁,已婚,收入1万以上,爱美食,团购达人,喜欢红酒配香烟. 这样一串描述即为用户画像的典型案例.如果用一句话来描述,即:用户信息标签化. 如果用一幅图来展现,即: 二.为什么需要用户画像 用户画像的核心工作是为用户打标签,打标签的重要目的之一是为了让人能够理解并且方便计算机处理,如: 可以做分类统计:喜欢红酒的用户有多少?喜欢红酒的人群中,男.女比例是多少? 可以做数据挖掘工作:利用关联规则计算,喜欢红酒的人通常喜欢什么运动品牌?利用聚类算法分析,喜欢红酒的人年龄段

阿里巴巴大数据实践之数据建模

随着DT时代互联网.智能设备及其他信息技术的发展,数据爆发式增长,如何将这些数据进行有序.有结构地分类组织和存储是我们面临的一个挑战. 为什么需要数据建模 如果把数据看作图书馆里的书,我们希望看到它们在书架上分门别类地放置:如果把数据看作城市的建筑,我们希望城市规划布局合理:如果把数据看作电脑文件和文件夹,我们希望按照自己的习惯有很好的文件夹组织方式,而不是糟糕混乱的桌面,经常为找一个文件而不知所措. 数据模型就是数据组织和存储方法,它强调从业务.数据存取和使用角度合理存储数据.Linux的创始

Qunar用户画像构建策略及应用实践

1.用户画像的构建原则 我们做用户画像的目的有两个: 必须从业务场景出发,解决实际的业务问题,之所以进行用户画像要么是获取新用户,或者是提升用户体验,或者是挽回流失用户等有明确的业务目标 .根据用户画像的信息做产品设计,必须要清楚知道用户长什么样子,有什么行为特征和属性,这样才能为用户设计产品或开展营销活动.一般常见的错误想法是画像维度的数据越多越好,画像数据越丰富越好,费了很大的力气进行画像后,却发现只剩下了用户画像,和业务相差甚远,没有办法直接支持业务运营,投入精力巨大但是回报微小,可以说得

提升数据建模的10种技术措施

随着企业有了能够轻松访问和分析数据以提高性能的新机会,数据建模也是变形的.数据建模不仅仅是任意组织数据结构和关系,还必须与最终用户的需求和问题联系起来,并提供指导,帮助确保正确的数据正确使用正确的方法获得正确的结果.以下描述的十种技术将帮助人们提高数据建模水平及其对业务的价值. 1.了解所需的业务需求和成果 数据建模的目的是帮助组织更好地运作.作为数据建模者,收集,组织和存储用于分析的数据,用户只能通过了解其企业需求来实现这一目标.正确地捕获这些业务需求,以了解哪些数据优先,收集,存储,转换,并

大数据在京东用户画像技术曝光

为什么要做用户画像? 一方面是海量信息的汇集,京东是一家大型全品类综合电商,海量商品和消费者产生了从网站前端浏览.搜索.评价.交易到网站后端支付.收货.客服等多维度全覆盖的数据体系,另一方面日益复杂的业务场景和逻辑使得信息的处理挖掘日益重要:也就是说,京东已经形成一个储量丰富.品位上乘且增量巨大的数据金矿,但是在相当长一段时间,很多业务童鞋经常面对宝山空回的局面,比如我们的数据"疯析狮"和"攻城狮"被业务童鞋反复追问,为什么我的促销活动做了这么久,力度也挺大,就是没

大数据workshop:《云数据·大计算:海量日志数据分析与应用》之《数据加工:用户画像》篇

阿里云MVP Meetup:<云数据·大计算:海量日志数据分析与应用>之<数据加工:用户画像>篇 实验背景介绍 本手册为阿里云MVP Meetup Workshop<云计算·大数据:海量日志数据分析与应用>的<数据加工:用户画像>篇而准备.主要阐述在使用大数据开发套件过程中如何将已经采集至MaxCompute上的日志数据进行加工并进行用户画像,学员可以根据本实验手册,去学习如何创建SQL任务.如何处理原始日志数据. 实验涉及大数据产品 大数据计算服务 Max

从大数据建模到集成解决方案,普林科技要深挖政企用户价值

普林科技是一家主要为政企客户提供大数据服务的公司.2014年5月成立,初期主要为金融客户提供风控模型,后来逐渐延伸至零售行业的精准营销,以及电力.新能源领域的智能预警等,目标用户以政府.大型企业为主. 创始人鄂维南为中国科学院院士.北京大数据研究院院长,团队成员均拥有海内外Top10学校背景,其中拥有北京大学背景的占60%,最核心的能力就是数据建模. 一开始,普林科技主要聚焦在为金融客户提供风控模型.公司曾与P2P平台人人贷合作开发信贷风控模型,并将之产品化.至于数据采集,普林科技仅提供一个辅助