开源大数据周刊-第68期

资讯：

• 2020年我国大数据产业将破万亿

  近日，《2017中国大数据产业发展白皮书》发布。《每日经济新闻》记者对照工信部及各地出台的大数据发展规划进行梳理后发现，到2020年，我国大数据相关产品和服务业务收入将突破1万亿元，年均复合增长率保持30%左右。

• 大数据公司MapR完成最后一轮5600万美元融资，目光锁定IPO

  大数据公司MapR完成最后一轮5600万美元融资，目光锁定IPO。有了此轮融资，MapR计划继续其国际扩张，重点进军澳大利亚、日本和韩国。同时，该公司也会寻找盈利渠道，希望在2018年将目前亏损的状态扭转至收支平衡。

• 利用大数据评估贷款人信用，印度金融创企Lendingkart获1050万美元融资

  近日消息，印度数字借贷平台Lendingkart Finance完成1050万美元股权融资，新加坡Sistema Asia Fund领投，原投资人Bertelsmann India Investment，Mayfield India，Saama Capital，India Quotient和Darrin Capital Management跟投。Lendingkart计划用此轮融资增加贷款数额，强化平台技术和分析能力。同时，该公司也将深入对印度落后地区的服务。

技术

• kafka数据可靠性深度解读如何基于 Spark Streaming 构建实时计算平台
  本文介绍了如何基于Spark Streaming构建实时计算平台。
• Spark 1.6升级2.x防踩坑指南
  本文以SQL模块为主，扒一扒Spark升级2.x过程中可能会踩到的坑。
• Hadoop 3.0磁盘均衡器(diskbalancer)新功能及使用介绍
  本文介绍了Hadoop 3.0磁盘均衡器(diskbalancer)的原理和具体使用方法。
• TensorFlow产品经理：机器学习如何改变未来十年的软硬件？
  最近，Google Brain员工，TensorFlow产品经理Zak Stone在硅谷创业者社群South Park Commons上做了个讲座，谈到了TensorFlow、XLA、Cloud TPU、TFX、TensorFlow Lite等各种新工具、新潮流如何塑造着机器学习的未来。同时，他还暗示了一些还未向公众披露的exciting的事儿。
  讲座的题目叫“Tensor Flow, Cloud TPUs, and ML progress”，以下是整个讲座的概要，编译整理自South Park Commons官方博客。
• 在Kafka中使用Avro编码消息：Spark篇
  本文将介绍如何通过 Spark 从 Kafka 中读取这些 Avro 格式化的消息。

欢迎入群技术交流！

阿里云E-Mapreduce团队出品