flume发送数据到es 遇到的几个问题

问题描述

1，flumsource收集到数据后，使用拦截器正则切分body数据，添加到header中，发送数据时抓包发现，此时的body内容几乎已经用不上了，所以想问如何在发送时，去掉body部分，只发送header2，由于flume发送数据到es,其中agent.sinks.elasticsearch.indexName=flume，定义索引，系统会自动加上时间，发送到es,,这样的话一个索引就只能存一天的数据，第二天就必须放入新的索引中，想问如何定义索引名字时不让追加时间信息，或者如何让长时间所获取的数据放到一个索引中，比如一年的数据放入一个索引？sos大神比较急,

解决方案

时间： 2024-10-30 10:51:34

flume发送数据到es 遇到的几个问题的相关文章

编码-log4j向flume发送数据乱码

问题描述 log4j向flume发送数据乱码 flume部署在linux上,log4J2目部署在windows上.用log4j的flumeAppender把数据发送到kafka上,但通过logsink和filesink打印出来的都是乱码,log4J在Windows本地打印出来是正常的.请问这个怎么解决.... 我在linux上用flume的avro client把一个UTF-8编码的文本发送到flume,依然是乱码.但用GBK的文本就是正常的. 但是我在win上吧log4j的编码都改过,flum

flume 使用source interceptors拦截器切分body,自定义字段发送数据至es，es并未预期切分显示

问题描述 flume配置如下:agent.sources=tailagent.channels=memoryChannelagent.sinks=elasticsearchagent.channels.memoryChannel.type=memoryagent.channels.memoryChannel.capacity=10000agent.channels.c1.transactionCapacity=100agent.sources.tail.channels=memoryChanne

flume到hdfs写入问题-flume采集数据到hdfs性能问题

问题描述 flume采集数据到hdfs性能问题 本人目前遇到flume采集写入hdfs性能等各种问题,大致如下.在10上的xx/xx目录下的数据进行读取 sink到08上的flume 由08上的flume写到07的hdfs上 30多m的文件写了好久.有时候会内存溢出等问题 Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 Describe/configure the source a1

ASP.NET以Post方式向网页发送数据

项目中用户提出了新要求,把本来在项目内平台内发送的信息同时发送到手机上,好在他们已经有了短信的发送平台,只要调用其接口发送就可以了. 短信发送接口是用jsp实现的一个网页,调用方式是以Post方式向该网页发送数据. 在网络上查找资料,几乎都是同一个结果: System.Net.WebRequest req = System.Net.WebRequest.Create(URI); req.Proxy = new System.Net.WebProxy(ProxyString, true); 再根据

在ASP.NET中实现POST发送数据

asp.net|数据 下面的代码实现了与以前XMLHTTP类似的功能.代码如下:      HttpSendData.ASPx      <%@ Page language="<a href="http://dev.21tx.com/dotnet/csharp/" target="_blank">C#</a>"%>   <%@ Import Namespace = "System"%&

Java网络编程从入门到精通（26）：在服务端接收和发送数据

在建立完ServerSocket对象后,通过accept方法返回的Socket对象,服务端就可以和客户端进行数据交互. Socket类和ServerSocket类都有两个得到输入输出流的方法:getInputStream和getOutputStream.对于Socket类而言,使用getInputStream方法得到的InputStream是从服务端获取数据,而getOutputStream方法得到的OutputStream是向服务端发送数据.而ServerSocket的getInputStre

iOS开发ASIHttpRequest发送数据与下载数据

  发送数据 本文为大家介绍了iOS开发ASIHttpRequest发送数据的内容,其中包括设定request头,使用ASIFormDataRequest POST表单,PUT请求.自定义POST请求等等内容. 设定request头 ASIHTTPRequest *request = [ASIHTTPRequest requestWithURL:url]; [request addRequestHeader:@"Referer" value:@"http://www.drea

can 发送数据不成功-can发送数据失败 ，总是返回CANTXPENDING

问题描述 can发送数据失败 ,总是返回CANTXPENDING 进行can测试 正常模式下查询发送状态 一直都是返回CANTXPENDING,一端是stm 32板子 , 一端是usb_can ,求解 什么原因 / 解决方案 这个返回的语句意思是can总线数据没有发送.建议你查看一下是否将数据存到数据寄存器中.

超级网口USR-K3向服务器发送数据时是怎么发的

问题描述 超级网口USR-K3向服务器发送数据时是怎么发的 如题,数据会先发送到哪,服务器从哪里拿到这个值,USR-K3的配置要怎么设才能发送到服务器.