日志处理实战:一个外卖网站解决方案(持续更新中)

背景

“我要点外卖“是一个平台型电商网站,用户、餐厅、配送员等。用户可以在网页、App、微信、支付宝等进行下单点菜;商家拿到订单后开始加工,并自动通知周围的快递员;快递员将外卖送到用户手中。

在运营的过程中,发现了如下的问题:

  1. 获取用户难,投放一笔不小的广告费对到渠道(网页、微信推送),收货了一些用户,但无法评判各渠道的效果
  2. 用户经常抱怨送货慢,但慢在什么环节,接单、配送、加工?如何优化?
  3. 用户运营,经常搞一些优惠活动
  4. 调度问题,如何帮助商家在高峰时提前备货?如何调度更多的快递员到指定区域?

我们希望通过该网站的案例,教会大家如何通过日志进行商业运营与决策。

挑战是什么?

  1. 日志散落在外部

    1. 多渠道:例如广告商、地推等
    2. 多终端:网页版、公众账号、手机、浏览器等
    3. 异构网络:VPC、用户自建IDC,ECS等
  2. 各业务系统标准不统一,需要分别对几个平台

第一步是什么?日志收集统一

我们需要把散落在外部、内部日志收集起来,统一进行管理。在过去这块需要大量的工作,现在可以通过日志服务统一完成接入。

  • 通过WebTracking解决推广页面H5埋点问题
  • 通过移动端SDK解决用户端数据收集问题
  • 微信Web服务器:PHP/Java SDK 写入日志
  • 业务服务器:Logtail收集

这里举一些例子:

微信服务端日志

2017-06-20 18:00:00, openID, opt, target, latency, status,location, network

字段 含义
time 用户操作时间段
openID
opt
target url
latency
location 地理位置信息
network 网络类型

可以用PHP SDK 或直接写到服务器硬盘中,通过Logtail收走。

新用户推广日志

2016-06-20 19:00:00 $md5_session, providerID, status

字段 含义
time 时间
$md5_session 用户Session,和注册ID关联
providerID 来源ID
params 其他参数

我们可以把h5页面中埋入providerID, paramsID 等参数,但用户扫描该页面注册时,就知道用户通过特定来源进入

客户端点击日志

2016-06-20 19:00:00 user, read, url, screen, android mi-ui, latency, status

点击日志可以从客户端收集,也能够从服务端收集,对于一些滚屏,退出等事件直接从客户端收集

其他

服务端、业务系统等日志

日志处理实战

运营活动中心

《未完待续》

反欺诈小组

《未完待续》

客服中心

《未完待续》

商业逻辑小组

《未完待续》

算法小组

《未完待续》

商家小组

《未完待续》

运维小组

《未完待续》

时间: 2025-01-01 21:34:29

日志处理实战:一个外卖网站解决方案(持续更新中)的相关文章

使用ASP.NET Web Api构建基于REST风格的服务实战系列教程【开篇】【持续更新中。。。】

原文:使用ASP.NET Web Api构建基于REST风格的服务实战系列教程[开篇][持续更新中...] 最近发现web api很火,园内也有各种大神已经在研究,本人在asp.net官网上看到一个系列教程,原文地址:http://bitoftech.net/2013/11/25/detailed-tutorial-building-asp-net-web-api-restful-service/.于是打算跟着学一下,把学习过程记录在博客园的同时也分享给大家. 每一篇结束后我都会把代码共享 由于

这些开源项目,你都知道吗?(持续更新中...)[原创]

原文 这些开源项目,你都知道吗?(持续更新中...)[原创] Json.NET  http://json.codeplex.com/ Json.Net是一个读写Json效率比较高的.Net框架.Json.Net 使得在.Net环境下使用Json更加简单.通过Linq To JSON可以快速的读写Json,通过JsonSerializer可以序列化你的.Net对象.让你轻松实现.Net中所有类型(对象,基本数据类型等)和Json的转换.   Math.NET http://www.mathdotn

构建ASP.NET MVC4+EF5+EasyUI+Unity2.x注入的后台管理系统(1)-前言与目录(持续更新中...)

原文:构建ASP.NET MVC4+EF5+EasyUI+Unity2.x注入的后台管理系统(1)-前言与目录(持续更新中...) 曾几何时我想写一个系列的文章,但是由于工作很忙,一直没有时间更新博客.博客园园龄都1年了,却一直都是空空的,网上后台管理系统,权限管理系统多如猴毛,各个大虾都有自己的想法和方式.当然我还未能是大虾, 前言 做一件事情之前总会有前言,首先本项目的原型是我之前在一家公司研发的一个制造业ERP系统,已经上线并开始运行,按道理来说这是一套合格的系统方案.之前原型是 Asp.

Asp.Net Web API 2 官网菜鸟学习系列导航[持续更新中]

原文:Asp.Net Web API 2 官网菜鸟学习系列导航[持续更新中] 前言 本来一直参见于微软官网进行学习的, 官网网址http://www.asp.net/web-api.出于自己想锻炼一下学习阅读英文文章的目的,又可以学习下微软新发布的技术,其实也很久了,但自己菜鸟一枚,对自己来说都是新技术了.鉴于以上两个原因,本人打算借助google翻译和有道词典,来翻译学习这个系列,并通过博客园来记录自己的翻译学习过程.由于自己阅读水平的确太菜,在借助工具的情况下,有时候搞出来的也是蹩脚的语句,

如何让老网站在百度更新中越来越“稳”

每次百度更新总会有一部分网站倒下,这让很多老站长都感觉百度无情,其实作为百度搜索引擎而言他更多的是考虑用户的利益,而对于一些老网站被降权或者被K的行为都是由于网站自身不足引起的,而想要自己的网站在百度中趋于稳定,那么就必须改变建站思路与建站方法,下面我们详细的谈一谈如何让老网站在百度更新中越来越稳. 改变外链质量应当以稳定和相关性为核心 一些老网站在前期建立的时候依靠的是外链,而现在百度搜索引擎对外链的打击是很厉害的,稍不注意网站有可能就会出现被百度降权的行为,特别是在百度关注的外链问题上,老网

谈一谈如何让老网站在百度更新中越来越稳

摘要: 每次百度更新总会有一部分网站倒下,这让很多老站长都感觉百度无情,其实作为百度搜索引擎而言他更多的是考虑用户的利益,而对于一些老网站被降权或者被K的行为都是由于网站自 每次百度更新总会有一部分网站倒下,这让很多老站长都感觉百度无情,其实作为百度搜索引擎而言他更多的是考虑用户的利益,而对于一些老网站被降权或者被K的行为都是由于网站自身不足引起的,而想要自己的网站在百度中趋于稳定,那么就必须改变建站思路与建站方法,下面我们详细的谈一谈如何让老网站在百度更新中越来越稳. 改变外链质量应当以稳定和

iOS 文件及字符串相关操作汇总 - 持续更新中......

iOS 文件及字符串相关操作汇总 - 持续更新中...... 太阳火神的美丽人生 (http://blog.csdn.net/opengl_es) 本文遵循"署名-非商业用途-保持一致"创作公用协议 转载请保留此句:太阳火神的美丽人生 -  本博客专注于 敏捷开发及移动和物联设备研究:iOS.Android.Html5.Arduino.pcDuino,否则,出自本博客的文章拒绝转载或再转载,谢谢合作. 1.获取应用包中文件的绝对路径: NSString *absoluteFileNam

大数据学习之路(持续更新中...)

在16年8月份至今,一直在努力学习大数据大数据相关的技术,很想了解众多老司机的学习历程.因为大数据涉及的技术很广需要了解的东西也很多,会让很多新手望而却步.所以,我就在自己学习的过程中总结一下学到的内容以及踩到的一些坑,希望得到老司机的指点和新手的借鉴. 前言 在学习大数据之前,先要了解他解决了什么问题,能给我们带来什么价值.一方面,以前IT行业发展没有那么快,系统的应用也不完善,数据库足够支撑业务系统.但是随着行业的发展,系统运行的时间越来越长,搜集到的数据也越来越多,传统的数据库已经不能支撑

汇总这一年半我所使用过的那些工具[持续更新中]

原文:汇总这一年半我所使用过的那些工具[持续更新中] 前言 马上要回家过年了,来总结下之前自己所使用过的那些工具吧.不论是在工作,还是日常的工作学习中,难免都会使用一些简单的小工具.但有时候一些工具只使用很短的时间,然后当第二次使用的时候,只记得当时使用过,真是记不起工具名称,或者自己把它下载不知道放到什么地方去了.所以自己在此记录一下,本文会持续更新,方便自己日后查找工具. 以下列举都是本人暂时使用过,或者还记得的工具吧. 操作系统 1.操作系统可下载地址:http://msdn.itelly