【大数据技巧】Flume采集网站日志到MaxCompute常见问题汇总

免费开通大数据服务:https://www.aliyun.com/product/odps

本文列举了Flume采集网站日志到MaxCompute的一些常见问题,欢迎大家补充;

Q:找不到指定路径的文件

A:本实验要在Linux系统下运行,路径也要写在Linux下的路径

Q:找不到指定sink
type的类

A:插件错误,需要用新版本的
flume插件
写新版本的 datahub

Q:不能执行SinkRunner

A:插件错误,需要用新版本的
flume插件
写新版本的 datahub

Q:不识别Datahub  endpoint地址

A:填的 endpoint是 ecs上用的,应填写公网地址

Q:更改endpoint地址后依旧报同样的错

A:虚拟机未能ping通外网,重新设置虚拟机,搭建桥接模式

Q:报ak有错

A:先检查ak是否被禁用,若没有不断刷新页面

Q:上传数据成功后往MaxCompute归档时未成功

A:MaxCompute表的字段和Datahub topic字段大小写不一致(还要注意Flume配置文

   件中a1.sinks.k1.serializer.fieldnames的一致性)

Q:错误,找不到主类

A:不支持文件夹命名带空格,如MaxCompute Project,改为MaxCompute_Project

MaxCompute产品地址:https://www.aliyun.com/product/odps

欢迎加入阿里云数加钉钉群讨论

时间: 2024-08-16 00:49:23

【大数据技巧】Flume采集网站日志到MaxCompute常见问题汇总的相关文章

flume采集网站日志到MaxCompute

通过最佳实践帮助您实现上述案例效果 Step1:安装JDK和Flume 1.1 JDK:1.7及以上版本 1.1.1 下载Linux版本的JDK1.7安装包 下载地址为:http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 1.1.2 安装JDK # cd /usr/local/src # rpm -ivh jdk-7u79-linux-x64.rpm #安装,默认会安装在/usr/

【大数据新手上路】“零基础”系列课程--Flume收集网站日志数据到MaxCompute

免费开通大数据服务:https://www.aliyun.com/product/odps 概述:大数据时代,谁掌握了足够的数据,谁就有可能掌握未来,而其中的数据采集就是将来的流动资产积累. 任何规模的企业,每时每刻都在产生大量的数据,但这些数据如何归集.提炼始终是一个困扰.而大数据技术的意义确实不在于掌握规模庞大的数据信息,而在于对这些数据进行智能处理,从中分析和挖掘出有价值的信息,但前提是如何获取大量有价值的数据. 相信很多做过网站管理的人对网站访问日志(Access Log)应该不会陌生,

【大数据技巧】数据导入到MaxCompute的技巧汇总

免费开通大数据服务:https://www.aliyun.com/product/odps 用Fluent实现MySQL到ODPS数据集成 ---可以通过Fluentd将其它系统数据利用DHS导入到ODPS中 海量数据计算应该如何选择数据库 ---MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题 官方文档-数据同步(RDS->MaxCompute)任务 ---MaxCompute 和 RDS 搭配为例介绍大数据应用同步方案 Ma

大数据营销对地方网站及O2O实施与思考

大数据营销是目前互联网提出的新的领域和概念,炒作意义大于实际操作意义.众多站长和互联网人无不欢呼雀跃,似乎又被打了鸡血,又忘记了之前被捧杀无数的各种概念模式的尸骨堆了.对于新事物,我们要充分认识其本质,而不是对于表面的概念所痴迷. 尤其结合本地化和区域门户网站的数据营销的玩法,其实并不是遥不可及的概念,实际上是有规律可循的.真正的大数据营销,没有一定的实力,是一般中小网站难以企及的,但基于数据的营销又是可以去做的,这两点需要注意两者之间的区别. 地方门户网站的数据化营销,应该是基于本地的网友数据

【大数据技巧】MaxCompute中实现IP地址归属地转换

免费开通大数据服务:https://www.aliyun.com/product/odps 大数据平台的成熟使得更多种类的非结构化.半结构化的数据分析成为可能,其中应用非常广泛的一种场景就是日志分析.在日志类型数据的清洗转换过程中把IP地址转换为归属地又是极为常见的一种场景.那么利用MaxCompute如何实现IP地址向归属地的转换呢? 俗话说:巧妇难为无米之炊,要实现IP地址与归属地的转换必须要有IP地址库,不过好在互联网上已经有一些资源,而且还提供免费版本的IP数据库下载详见:www.ipi

【大数据技巧】MaxCompute优化去重计算的性能

免费开通大数据服务:https://www.aliyun.com/product/odps 转载自dachuan 随着双十一数据量的暴增,之前用distinct去重可以简单处理的场景,现在消耗的时间成倍增长.如果用了multiple distinct,那就更要警惕,因为多重去重本身会带来数据量的成倍增长,很可能10分钟的任务,在双十一期间会跑上几个小时都没有结果. 这里介绍一个小技巧,其实在稳定性手册里面已经有过介绍,不过总感觉没有看懂.最近正好做了一次优化,于是在这里小结一下: 例如原来的代码

大数据格局下视频网站的发展之路

大数据最初是指多到无法去进行统计和分析的数据集,后来被衍生成--通过某种方式和方法去分析海量数据,从中获得我们需要的具有巨大价值利益的服务内容. 这是一种逐渐被重视的形式,分析这些数据有难度,存储这些数据一样有难度,也需要使用一些前所未有的方式,现在国内大部分采用的是Hadoop这样开源的分布式数据集群,来满足各种数据统计的需求. 由于海量数据中可以分析出具有巨大价值利益的细分数据,所以很多网站都进行大数据战略,特别是在电商行业和视频行业. 不过更具有挑战性和代表性的应该是针对视频网站的大数据挖

大数据、机器学习与深度学习类命令行工具汇总

抓紧你的键盘!无需鼠标或者GUI,我们完全能够在OS X与Linux上完成大量操作.面向各类*N*X系统的大量出色命令行工具一直在技术行业拥有极高人气,且已经扩展至Python.Go.NodeJS乃至各类混合型工具当中.即使大家并不打算通过命令行运行整条数据处理管道,这些工具仍然能够带来可观助益. <命令行上的数据科学(Data Science at the Command Line)>一书与GitHub皆为我们带来大量高水平的预处理与后处理类工具选项,大家亦可根据需要对其进行针对性调整.在今

阿里巴巴大数据计算平台MaxCompute(原名ODPS)全套攻略(持续更新20171122)

  概况介绍 大数据计算服务(MaxCompute,原名ODPS,产品地址:https://www.aliyun.com/product/odps)是一种快速.完全托管的TB/PB级数据仓库解决方案.MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全.本文收录了大量的MaxCompute产品介绍.技术介绍,帮助您快速了解MaxCompute/ODPS. MaxCompute 2.0:阿里巴巴的大数