Starbucks Roastery智慧门店AR项目是阿里巴巴和星巴克合作的一个重大的新零售探索项目。Starbucks Roastery店是星巴克在上海开设的一家两万平方米的大型咖啡文化休闲中心,经过双方地不懈努力,在店内利用AI、AR等技术实现了在线点餐、店内探索等功能。A.I. Labs 六次元团队提供了核心的算法引擎。
2017年12月5日星巴克开业剪彩时,阿里巴巴集团董事局主席马云,星巴克总裁霍华德·舒尔茨亲自体验了A.I. Labs AR 技术,赞扬了通过AR这种新互动形式打造技术与文化结合的好想法。可以说,AR技术成功地连接了线上与线下应用场景,实现了人、场和物的感知和互动,达到了技术整合对外赋能的目的,有效支撑了阿里巴巴新零售战略。
AI、AR这些新兴技术应用于原有大型的新零售领域,无论技术还是业务上都是大胆的尝试和突破。A.I. Labs自研了多种数据采集、标注、筛选、增强和评估工具,建立了从场景采集、标注、训练、预测和测试的一整套完整的图像识别平台,灵活地与第三方素材管理系统对接。其中利用自动化标注工具已申请国家发明专利,大大节省和加快了数据标注的流程,为后续推广类似星巴克这样的商业模式打下了坚实的基础。
星巴克场景大,识别种类多,光线环境复杂,例如大铜罐2米多高,识别角度近360度;冰粹(Cold brew)管和法压壶等器皿是透明的;虹吸管(Siphon)点火后不同的颜色变化,为此我们创造了多种增强方式来扩展训练数据样本提升识别准确率。由于采用深度学习方案,在识别数量增多的情况下,不会带来在线计算量的巨大变化,我们进行了MKL、XLA和JIT编译优化,减少RT时间,保证识别速度。离线训练时间会有所增加,GPU分布式训练策略会削弱带来的影响。环境变化对识别影响很大,我们通过多种对原始数据我们进行了旋转、尺度、对比度和颜色变换等多种手段进行数据预处理,提高识别的鲁棒性。在物体观察角度多和光线变化复杂的情况下,准确率在误识率为0.02%情况下达到97.3%以上,大铜罐的识别准确率达到98%以上。
A.I. Labs AR采用了端云结合的策略,终端算法执行速度快、模型轻、引擎小;云端算法高准确性,与客户端算法深度融合,结合高速传输策略,不仅提升了识别速度,而且保证了如此般柔滑的用户体验。为扶持生态,阿里方面表示,准备免费提供手机客户端采集工具以及自动化训练和精准识别服务,让这种创新的商业模式可复制,使得更多的商家和用户能够参与到AR平台的建设中。