初学者关于Hadoop的问题

问题描述

我用了这个例子代码:http://blog.ring.idv.tw/comment.ser?i=369放在hadoop里compile:bin/hadoopcom.sun.tools.javac.Main~/Downloads/pagerank/PageRank.javajarcfprk.jar~/Downloads/pagerank/PageRank*.class然后运行:bin/hadoopjarprk.jarPageRank结果报错:Exceptioninthread"main"java.lang.ClassNotFoundException:PageRankatjava.net.URLClassLoader$1.run(URLClassLoader.java:366)atjava.net.URLClassLoader$1.run(URLClassLoader.java:355)atjava.security.AccessController.doPrivileged(NativeMethod)atjava.net.URLClassLoader.findClass(URLClassLoader.java:354)atjava.lang.ClassLoader.loadClass(ClassLoader.java:425)atjava.lang.ClassLoader.loadClass(ClassLoader.java:358)atjava.lang.Class.forName0(NativeMethod)atjava.lang.Class.forName(Class.java:270)atorg.apache.hadoop.util.RunJar.main(RunJar.java:205)求助各位,我哪里出错了呢

解决方案

解决方案二:
到去问问吧,那边牛人多
解决方案三:
类PageRank你放到你的jar包中了吗?
解决方案四:
引用2楼hao_rh的回复:

类PageRank你放到你的jar包中了吗?

jarcfprk.jar~/Downloads/pagerank/PageRank*.class

时间: 2024-08-01 22:00:54

初学者关于Hadoop的问题的相关文章

给Hadoop初学者的一些建议

零基础学习hadoop,没有想象的那么困难,也没有想象的那么容易.从一开始什么都不懂,到能够搭建集群,开发.整个过程,只要有Linux基础,虚拟机化和java基础,其实hadoop并没有太大的困难.下面整理一下整个学习过程,给大家一个参考. 零基础学习hadoop,没有想象的那么困难,也没有想象的那么容易.从一开始什么都不懂,到能够搭建集群,开发.整个过程,只要有Linux基础,虚拟机化和java基础,其实hadoop并没有太大的困难.下面整理一下整个学习过程,给大家一个参考. 首先我们要了解h

eclipse/intellij idea 远程调试hadoop 2.6.0

很多hadoop初学者估计都我一样,由于没有足够的机器资源,只能在虚拟机里弄一个linux安装hadoop的伪分布,然后在host机上win7里使用eclipse或Intellj idea来写代码测试,那么问题来了,win7下的eclipse或intellij idea如何远程提交map/reduce任务到远程hadoop,并断点调试? 一.准备工作 1.1 在win7中,找一个目录,解压hadoop-2.6.0,本文中是D:\yangjm\Code\study\hadoop\hadoop-2.

Hadoop - Ambari集群管理剖析

1.Overview Ambari是Apache推出的一个集中管理Hadoop的集群的一个平台,可以快速帮助搭建Hadoop及相关以来组件的平台,管理集群方便.这篇博客记录Ambari的相关问题和注意事项.方便为初学者省去搭配各个社区版的烦恼. 2.How to works 在Ambari的官方WIKI上介绍了如何去使用Ambari,[官方文档].官方说法比较简要,下面我补充相关注意事项,并给大家罗列一个详细的步骤. 2.1 Env 首先,节点(物理机)需要实现准备好,这里笔者准备了5台节点,大

用Hadoop进行分布式数据处理,第1部分

尽管 Hadoop 是一些大型搜索引擎数据缩减功能的核心部分,但是它实际上 是一个分布式数据处理框架.搜索引擎需要收集数据,而且是数量极大的数据. 作为分布式框架,Hadoop 让许多应用程序能够受益于并行数据处理. 本文并不打算介绍 Hadoop 及其架构,而是演示一个简单的 Hadoop 设置.现在 ,我们来讨论 Hadoop 的安装和配置. 初始设置 对于本文中的 示例,我们使用 Cloudera Hadoop 发行版.Cloudera 提供对各种 Linux 发行版的支持,所以很适合初学

如何高效的阅读hadoop源代码?

这篇文章的内容是从知乎的帖子上摘抄下来的,是董西成的经验之作,虽然我还没有来的及通读源码,但觉得这经验有些意义就转载来与大家共享. ============ 首先,不得不说,hadoop发展到现在这个阶段,代码已经变得非常庞大臃肿,如果你直接阅读最新版本的源代码,难度比较大,需要足够的耐心和时间,所以,如果你觉得认真一次,认真阅读一次hadoop源代码,一定要有足够的心理准备和时间预期. 其次,需要注意,阅读Hadoop源代码的效率,因人而异,如果你有足够的分布式系统知识储备,看过类似的系统,则

《Hadoop与大数据挖掘》一导读

前 言 为什么要写这本书 最早提出"大数据"时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:"数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素.人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来." 早在2012年,大数据(big data)一词已经被广泛提起,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新.那时就有人预计,从2013年至2020年,全球数据规模将增长10倍,每年产生的数据量将由当

hadoop中slot简介(map slot 和 reduce slot)

Slots是Hadoop的一个重要概念.然而在Hadoop相关论文,slots的阐述难以理解.网上关于slots的概念介绍也很少,而对于一个有经验的Hadoop开发者来说,他们可能脑子里已经理解了slots的真正含义,但却难以清楚地表达出来,Hadoop初学者听了还是云里雾里.我来尝试讲解一下,以期抛砖引玉. 首先,slot不是CPU的Core,也不是memory chip,它是一个逻辑概念,一个节点的slot的数量用来表示某个节点的资源的容量或者说是能力的大小,因而slot是 Hadoop的资

【干货】Apache Hadoop 2.8 完全分布式集群搭建超详细过程,实现NameNode HA、ResourceManager HA高可靠性

最近在自己的笔记本电脑上搭建了Apache Hadoop分布式集群,采用了最新的稳定版本2.8,并配置了NameNode.ResourceManager的HA高可用,方便日常对Hadoop的研究与测试工作.详细的搭建过程如下: 1.安装docker,创建docker容器,用于搭建hadoop节点 docker真是个好东西啊,当要在自己的笔记本上搭建分布式集群时,由于CPU.内存.磁盘有限,无法在VMware上虚拟出太多节点,这时使用docker创建几个容器,就能轻松搭建一个分布式集群了. (1)

用 Hadoop 进行分布式数据处理,从 入门、进阶到应用开发

入门 简介: 本文是讨论 Hadoop 的系列中的第一篇.本文介绍 Hadoop 框架,包括 Hadoop 文件系统 (HDFS) 等基本元素和常用的节点类型.学习如何安装和配置单节点 Hadoop 集群,然后研究 MapReduce 应用程序.最后,学习使用核心 Web 界面监视和管理 Hadoop 的方法. 尽管 Hadoop 是一些大型搜索引擎数据缩减功能的核心部分,但是它实际上是一个分布式数据处理框架.搜索引擎需要收集数据,而且是数量极大的数据.作为分布式框架,Hadoop 让许多应用程