Spark Streaming无法获取Kafka数据,求大神帮忙

问题描述

部分日志如下：4/12/1911:24:20INFOconsumer.ZookeeperConsumerConnector:[mygroupid_TZ0509-1418959450703-1be4114f],Clearedallrelevantqueuesforthisfetcher14/12/1911:24:20INFOconsumer.ZookeeperConsumerConnector:[mygroupid_TZ0509-1418959450703-1be4114f],Clearedthedatachunksinalltheconsumermessageiterators14/12/1911:24:20INFOconsumer.ZookeeperConsumerConnector:[mygroupid_TZ0509-1418959450703-1be4114f],Committingalloffsetsafterclearingthefetcherqueues14/12/1911:24:20INFOconsumer.ZookeeperConsumerConnector:[mygroupid_TZ0509-1418959450703-1be4114f],Releasingpartitionownership14/12/1911:24:20INFOconsumer.ZookeeperConsumerConnector:[mygroupid_TZ0509-1418959450703-1be4114f],Consumermygroupid_TZ0509-1418959450703-1be4114frebalancingthefollowingpartitions:ArrayBuffer(0)fortopicluyangwithconsumers:List(mygroupid_TZ0509-1418959450703-1be4114f-0)14/12/1911:24:20INFOconsumer.ZookeeperConsumerConnector:[mygroupid_TZ0509-1418959450703-1be4114f],mygroupid_TZ0509-1418959450703-1be4114f-0attemptingtoclaimpartition014/12/1911:24:20INFOconsumer.ZookeeperConsumerConnector:[mygroupid_TZ0509-1418959450703-1be4114f],mygroupid_TZ0509-1418959450703-1be4114f-0successfullyownedpartition0fortopicluyang14/12/1911:24:20INFOconsumer.ZookeeperConsumerConnector:[mygroupid_TZ0509-1418959450703-1be4114f],Updatingthecache14/12/1911:24:20INFOconsumer.ZookeeperConsumerConnector:[mygroupid_TZ0509-1418959450703-1be4114f],Consumermygroupid_TZ0509-1418959450703-1be4114fselectedpartitions:luyang:0:fetchedoffset=-1:consumedoffset=-114/12/1911:24:20INFOconsumer.ConsumerFetcherManager$LeaderFinderThread:[mygroupid_TZ0509-1418959450703-1be4114f-leader-finder-thread],Starting14/12/1911:24:20INFOconsumer.ZookeeperConsumerConnector:[mygroupid_TZ0509-1418959450703-1be4114f],endrebalancingconsumermygroupid_TZ0509-1418959450703-1be4114ftry#014/12/1911:24:20INFOreceiver.ReceiverSupervisorImpl:CalledreceiveronStart14/12/1911:24:20INFOscheduler.ReceiverTracker:Registeredreceiverforstream0fromakka://sparkDriver14/12/1911:24:20INFOkafka.KafkaReceiver:StartingMessageHandler.14/12/1911:24:20INFOutils.VerifiableProperties:Verifyingproperties14/12/1911:24:20INFOutils.VerifiableProperties:Propertymetadata.broker.listisoverriddento192.168.103.95:9092,192.168.103.96:9092,192.168.103.97:909214/12/1911:24:20INFOutils.VerifiableProperties:Propertyrequest.timeout.msisoverriddento3000014/12/1911:24:20INFOutils.VerifiableProperties:Propertyclient.idisoverriddentomygroupid14/12/1911:24:20INFOclient.ClientUtils$:Fetchingmetadatafrombrokerid:0,host:192.168.103.95,port:9092withcorrelationid0for1topic(s)Set(luyang)14/12/1911:24:20INFOproducer.SyncProducer:Connectedto192.168.103.95:9092forproducing14/12/1911:24:20INFOproducer.SyncProducer:Disconnectingfrom192.168.103.95:909214/12/1911:24:20INFOconsumer.ConsumerFetcherThread:[ConsumerFetcherThread-mygroupid_TZ0509-1418959450703-1be4114f-0-0],Starting14/12/1911:24:20INFOconsumer.ConsumerFetcherManager:[ConsumerFetcherManager-1418959459781]Addingfetcherforpartition[luyang,0],initOffset-1tobroker0withfetcherId014/12/1911:24:25INFOscheduler.ReceiverTracker:Stream0received0blocks14/12/1911:24:25INFOscheduler.JobScheduler:Addedjobsfortime1418959465000ms14/12/1911:24:30INFOscheduler.ReceiverTracker:Stream0received0blocks14/12/1911:24:30INFOscheduler.JobScheduler:Addedjobsfortime1418959470000ms14/12/1911:24:35INFOscheduler.ReceiverTracker:Stream0received0blocks14/12/1911:24:35INFOscheduler.JobScheduler:Addedjobsfortime1418959475000ms

解决方案

解决方案二：

解决方案三：
好吧，自己搞定了
解决方案四：
楼主怎么解决的，我也遇到同样的问题，能否透露一下解决方案，谢谢！

时间： 2025-01-21 12:18:11

Spark Streaming无法获取Kafka数据,求大神帮忙的相关文章

微信sdk-微信js sdk获取地理位置，求大神帮忙！！！！！！！！！！！！！！

问题描述 微信js sdk获取地理位置,求大神帮忙!!!!!!!!!!!!!! 最好用web页面,js结合做出来的,求各位大神帮帮忙,都做了好几天了,卡住了没法往下做了 解决方案 解决方案二: LocationManager类与Android系统中的其他服务类类似,所有GPS定位有关的服务,对象都由该对象产生: 获取该对象通过Context的getSystemService()方法获得: LocationProvider类是GPS定位组件的表示,Android中定位信息由他提供: Locatio

获取网页数据-求助大神帮忙 获取一个网页数据

问题描述 求助大神帮忙 获取一个网页数据 https://www.indovision.tv/schedule/table 获取这个网页的 AXN - 154频道 3月21号的节目数据 解决方案 发个HTTP请求,就可以拿到返回的页面数据,然后你就可以当xml来解析.

ios-iOS 获取手机通讯录遍历时,只有一个联系人(获取到了所有联系人,可是遍历时出问题了)求大神帮忙

问题描述 iOS 获取手机通讯录遍历时,只有一个联系人(获取到了所有联系人,可是遍历时出问题了)求大神帮忙 #import "AddressBook.h" #import "pinyin.h"//将汉字转换成英文 #import "Person.h"//将联系人信息存储成一个一个的person //存储通讯录的类 @interface AddressBook () @end @implementation AddressBook static A

c#这段代码向数据库批量添加数据为何1000行就需要10分钟啊求大神帮忙优化啊

问题描述 c#这段代码向数据库批量添加数据为何1000行就需要10分钟啊求大神帮忙优化啊 public void ShuaXin() { SqlCommand com = new SqlCommand(""delete from priceavg"" DBHelper.con); DBHelper.con.Open(); com.ExecuteNonQuery(); adapter = new SqlDataAdapter(""select *

数据-sql语句出错，求大神帮忙解答

问题描述 sql语句出错,求大神帮忙解答 CREATE PROCEDURE test() BEGIN DECLARE fid int; DECLARE days int DEFAULT 1; DECLARE s int default 0; DECLARE company_code VARCHAR; DECLARE cursor_company CURSOR FOR SELECT company FROM test WHERE status = 3; DECLARE CONTINUE HANDL

求大神帮忙破解一个电厂仿真机软件，出现“获取发送主机时间命令错误”

问题描述 有个电厂仿真机软件,分为教练员模块.操作员模块.实时数据管理系统三部分,运行实时数据管理系统时出现"发送获取主机时间命令出错",急求大神帮忙解决一下,万谢!!可提供软件安装包 解决方案

spark dataframe 中write 方法，求大神指点下，不胜感激

问题描述 spark dataframe 中write 方法,求大神指点下,不胜感激 dataframe的write方法将spark分析后的结果放到pg数据库,结果表中有个自曾字段,而那个write方法不能指定添加那几个字段只能全部添加,怎么办,求大神指导换种思路也行,不胜感激,小弟欲哭无泪啊 解决方案 http://www.open-open.com/lib/view/open1452259673808.html

注释-数据结构图的算法问题，求大神帮忙。

问题描述 数据结构图的算法问题,求大神帮忙. 连通图G和G中的一个结点v,设计算法,求G的生成树(支撑树)T.其中生成树的根是v,T的层次遍历次序是以v为起点的G的某个广度优先遍历次序.用C或C++写出算法的思想,设计G和T的存储结构,最好给出注释.谢谢. 解决方案 算法--数据结构图的最短路径实现JAVA代码数据结构图论之普里姆算法

iOS开发中APP怎么用USB与硬件进行通讯 交互数据 求大神

问题描述 iOS开发中APP怎么用USB与硬件进行通讯 交互数据 求大神 本人最近开发一个iOS项目 其中要求通过USB来访问硬件信息 可有人知道APP通过USB怎么与硬件进行数据交互 看了好多文档依然很不解 求大神 解决方案 http://www.zhihu.com/question/38150683