大数据-在新建和删除kafka的topic时出现问题

问题描述

在新建和删除kafka的topic时出现问题
kafka本身存在一个12个分区的topic,我重新增加一个12个分区的topic后,在Partition Information中出现Partition 0的leader为-2,点击进入后显示 broker id -2 :Yikes! Broker not found -2 for cluster kafka_manager.
然而我的broker ID 并没有使-2的,并且在我删除该topic后(删除失败),partition information中每一个的leader都变成了负数(-1),报错跟上述相同。
    求解为什么会出现这个问题,并且该如何彻底删除kafka topic残留的全部数据(kafka本身存在删除缺陷,如何较好的解决这个缺陷)。
    菜鸟入坑,求大神帮忙解决啊!
时间: 2024-08-31 06:31:06

大数据-在新建和删除kafka的topic时出现问题的相关文章

大数据在金融领域的应用及问题时

互联网使信息变的扁平,但是信息的利用效率却没有得到提高,因为技术的限制和认知的局限,海量的信息无法深度挖掘价值,甚至是信息本身被直接忽视.很多情况下人们能看到的只是互联网的便利,而挖掘信息背后的价值则无从做起.但是大数据技术的到来改变了这一状态. 马云曾说:"人类正在从IT时代走向DT时代".随着互联网技术的进一步发展和数据的积累,"大数据"应运而生,信息的收集,数据的挖掘逐渐被重视起来.人们意识到在现有的技术和数据的基础上,新的数据处理模式会具有更强的决策力.洞察

你们是不是真的很缺大数据工程师?

00 缘起 之所以有这个话题,是因为周末加班中午吃饭与一个同行朋友聊起了这个话题,之后再细细地结合一些其他接触的东西,确实是有些感触的. 并且对于行业的一些现状,也的确有些自己的看法,对不对先不论,这玩意儿也没有对错之分,每个人都有自己想法,当然也包括我博客虫了. 所以,有些东西.有些想法我还是愿意分享出来的,畅所欲言吧~~ 01 我眼中的大数据现状! 其实个人在大数据在大数据这个坑中,细细算来,时间也有3+年了,从一开始做大数据中心平台开发构建,到现在关注的数据上层应用挖掘.所以,基本上从数据

你们是不是很缺大数据工程师?

缘起 之所以有这个话题,是因为周末加班中午吃饭与一个同行朋友聊起了这个话题,之后再细细地结合一些其他接触的东西,确实是有些感触的. 并且对于行业的一些现状,也的确有些自己的看法,对不对先不论,这玩意儿也没有对错之分,每个人都有自己想法,当然也包括我啦. 所以,有些东西.有些想法我还是愿意分享出来的,畅所欲言吧~~ 1.我眼中的大数据现状 其实个人在大数据在大数据这个坑中,细细算来时间也有3+年了,从一开始做大数据中心平台开发构建,到现在关注的数据上层应用挖掘.所以,基本上从数据收集->数据处理(

【干货】张佐:面向可持续创新的大数据伦理

演讲全文: 大家好!刚才主持人介绍我的学术背景主要在信息领域,具体来讲是从企业生产调度到计算机网络集成,以及到现在主要面向城市交通问题做各种各样信息化.智能化的研究和应用. 我今天要讲的题目实际上有一个学校教育教学改革的大背景.从2013年开始我们就在探讨,清华要培养什么样的人.经过一年多的教育讨论会,学校教改文件提出了价值塑造.能力培养.知识传授"三位一体"的培养目标,希望毕业生在三个方面都得到提升. 对于信息学院的研究生,在价值塑造方面,除了通用的为人修养,还需要结合学生们未来要从

大数据不应成为作恶的工具

<黑箱社会:控制金钱和信息的数据法则>,(美)弗兰克帕斯奎尔著,赵亚男译,中信出版社2015年12月版,49.00元. 牛津大学互联网学院教授维克托迈尔-舍恩伯格曾以<大数据时代><删除>两本看似"自相矛盾"的著作炸响了大数据的深潭,前者着重挖掘大数据的价值,而后者则指出在记忆不可磨灭状态下大数据对我们的生活造成的困扰,两书呈现了大数据的两面性.然而,在现实应用中,前者在商业及金融领域的潜在价值被不断挖掘,而<删除>中那些啼笑皆非的案例,

大数据开发套件—调度运维常见问题

我们在进行大数据开发过程中,会遇到各种问题,本文将定期收集整理一些在使用阿里云数加 大数据开发套件 时遇到的常见问题,供大家参考~ Q. 如果之前提交的任务修改后再次提交,是否会影响当天的任务调度? A. 根据修改的内容来确定是否会影响:如果修改的只是 sql 语句,则不会影 响:如果修改自定义参数和调度配置以后重新提交的,都会影响当天的任 务调度 . Q. 创建一个新的工作流任务,如果保存后没有提交任务,是否可以进行测试? A. 仅保存后没有提交,sql 任务可以在本地运行,但不可以提交测试

Oracle预测:2017年大数据的10大可能

文章讲的是Oracle预测:2017年大数据的10大可能,2017年已经到来,大数据在飞速成长.无论是物联网还是云计算方面,企业技术都在上升,促进了市场的巨大变革.许多公司正在接受将大数据作为这个时代的竞争优势.在这篇文章中,我们将讨论Oracle对大数据2017年及其未来的一些预测. 1.拥抱机器学习的时代 机器学习以前只限于数据科学家,但2017年将全面开放.无论是谷歌的最新排名算法或卓越的电子产品,机器学习都能找到一个立足点.2016年的大数据已经相当庞大了,预计今后将继续增长,机器学习也

大数据研究常用软件工具与应用场景

如今,大数据日益成为研究行业的重要研究目标.面对其高数据量.多维度与异构化的特点,以及分析方法思路的扩展,传统统计工具已经难以应对. 工欲善其事,必先利其器.众多新的软件分析工具作为深入大数据洞察研究的重要助力, 也成为数据科学家所必须掌握的知识技能. 然而,现实情况的复杂性决定了并不存在解决一切问题的终极工具.实际研究过程中,需要根据实际情况灵活选择最合适的工具(甚至多种工具组合使用),才能更好的完成研究探索. 为此,本文针对研究人员(非技术人员)的实际情况,介绍当前大数据研究涉及的一些主要工

高考志愿季|如何从选专业开始 科学规划走上大数据之路

◆ ◆ ◆ 导语   随着全国各省高考分数线的公布,考生和家长也投入到了报考志愿的战争中.高薪.市场需求居高不下的数据科学家正在成为众多年轻人的理想职业.那么想要进入大数据领域并成为佼佼者,如何从高考选专业开始科学规划?   大数据文摘联合数据派(datapi)策划了本期专题,针对"数据科学家"的专业成长路径,采访了清华大学徐葳教授.阿里数据专家刘智勇.哥伦比亚大学数据科学在读硕士王昱森,希望他们从各自不同的角度,给想要走上大数据这条路的年轻人选择专业提供一些参考. ◆ ◆ ◆ 数据分