IBM MapReduce Tools for Eclipse

An Eclipse plug-in that simplifies the creation and deployment of MapReduce programs.

Date Posted: March 22, 2007

Update: April 16, 2007 Version 1.0.4: Added tunneling support and improved usability.

什么是IBM MapReduce Eclipse工具?

IBM® MapReduce Eclipse

工具是一个Eclipse下支持创建MapReduce应用的插件。它使用开源Hadoop MapReduce 框架，这个框架可以使聚聚密集性 应用在商用机硬件构成的大型集群上运行。插件在Eclipse下具有以下功能：

可以打包部署Java 工程为JAR (Java Archive) 文件至Hadoop 服务器（本地或远程）。提供开发过程中的备忘录。为Hadoop服务器、Hadoop分布式文件系统(DFS)和当前作业状态提供单独的视图。提供以 MapReduce 框架为基础的类开发向导方便发开。  插件可以在Windows®、 Linux®以及任何可以运行Eclipse的系统上运行。

如何工作?

插件可以为开发和测试自动创建带有Hadoop库的工程，并提供MapReduce 模板驱动。一旦工程完成，插件可 以使用SCP (secure copy) 去部署代码到Hadoop服务器上并且通过SSH (secure shell)远程地执行。在执行过程中，还可以通过HTTP同Hadoop任务处理器进行交互并显示作业工作状态。

关于作者

这个技术由Julian Friedman、Eugene Hung、Dennis Quan以及所有IBM Software Group""s High Performance On Demand Solutions Unit @IBM Silicon Valley Laboratory的工作人员开发完成。

时间： 2024-09-24 00:15:34

IBM MapReduce Tools for Eclipse的相关文章

WASD Tools for Eclipse开发和运行适于Liberty配置文件的数据访问应用程序

使用 WebSphere Application Server Developer Tools for Eclipse开发和运行适用于Liberty配置文件的数据访问应用程序 简介 Liberty 配置文件是 IBM WebSphere Application Server V8.5 中的一个动态的.可组合的配置文件,为 Web 应用程序提供了一个简化的轻型运行时环境.通过使用一个插入目录,或者将应用程序添加到服务器配置中,Liberty 配置文件还提供了快速部署应用程序的功能.Liberty

【Tools】eclipse svn插件离线包安装问题

1.问题描述 一直使用的是Kepler版eclipse,后因为开发新项目,需要使用MARs版的eclipse,重新安装了svn插件,安装之后重启测试报错: update D:/Users/xxx/workspace/ccao -r HEAD --force     The working copy needs to be upgraded svn: The working copy at 'D:\Users\xxx\workspace\ccao' is too old (format 29) t

【Tools】eclipse关于jre运行版本问题Version 1.6.0 of the JVM is not suitable for the this product.Version:1.8 or greater is required

解决办法: 1.安装jdk1.8,设置环境变量为jdk1.8,且在eclipse中设置程序jre为1.8版本: 2.如果以上设置后还是报错,在eclipse的安装目录下eclipse.ini文件中添加环境启动配置: -startupplugins/org.eclipse.equinox.launcher_1.3.201.v20161025-1711.jar--launcher.libraryplugins/org.eclipse.equinox.launcher.win32.win32.x86_

用 Hadoop 进行分布式并行编程, 第 2 部分

前言 在上一篇文章:"用 Hadoop 进行分布式并行编程 第一部分 基本概念与安装部署"中,介绍了 MapReduce 计算模型,分布式文件系统 HDFS,分布式并行计算等的基本原理, 并且详细介绍了如何安装 Hadoop,如何运行基于 Hadoop 的并行程序.在本文中,将针对一个具体的计算任务,介绍如何基于 Hadoop 编写并行程序,如何使用 IBM 开发的 Hadoop Eclipse plugin 在 Eclipse 环境中编译并运行程序. 分析 WordCount 程序

NoSQL学习路线图 - 使用 NoSQL 数据库分析大规模数据[转]

使用 NoSQL 数据库分析大规模数据 IBM的开发者站点的这个整理对入门和学习比较有效   http://www.ibm.com/developerworks/cn/training/kp/j-kp-nosql/?lang=zh&cmp=dw&cpb=dwwdv&ct=dwcom&cr=dwcom&ccy=cn 1. NoSQL 入门 NoSQL 数据库被更多的人所关注是因为它在解决大规模数据的可扩展性上有它独到的解决方案.无模式的数据存储模型与传统的关系型数据库

Hadoop技术中心

Hadoop技术与架构分析Hadoop编程入门 Hadoop分布式文件系统:结构与设计 用 Hadoop 进行分布式并行编程, 第 1 部分 用 Hadoop 进行分布式并行编程, 第 2 部分 Map Reduce - the Free Lunch is not over?Hadoop安装与部署Running Hadoop On Ubuntu Linux (Single-Node Cluster)Running Hadoop On Ubuntu Linux (Multi-Node Cluste

用 Hadoop 进行分布式并行编程, 第 3 部分

一 前言 在本系列文章的第一篇:用 Hadoop 进行分布式并行编程,第 1 部分: 基本概念与安装部署中,介绍了 MapReduce 计算模型,分布式文件系统 HDFS,分布式并行计算等的基本原理, 并且详细介绍了如何安装 Hadoop,如何在单机及伪分布式环境 (在一台单机中用多进程模拟) 运行基于 Hadoop 的并行程序.在本系列文章的第二篇:用 Hadoop 进行分布式并行编程,第 2 部分:程序实例与分析中,介绍了如何针对一个具体的计算任务,基于 Hadoop 编写 MapReduc

【图解】用Hadoop进行分布式并行编程（二）

程序实例与分析 Hadoop 是一个实现了MapReduce 计算模型的开源分布式并行编程框架,借助于Hadoop, 程序员可以轻松地编写分布式并行程序,将其运行于计算机集群上,完成海量数据的计算.在本文中,详细介绍了如何针对一个具体的并行计算任务,基于 Hadoop 编写程序,如何使用 IBM MapReduce Tools 在 Eclipse 环境中编译并运行 Hadoop 程序. 前言 在 上一篇文章:"用 Hadoop 进行分布式并行编程 第一部分 基本概念与安装部署"中,介绍

Eclipse Test and Performance Tools Platform，第2部分: 监视应用程序

开始之前 关于本系列 为应用程序编写代码只是交付健壮的产品质量的程序所需的漫长过程的第一阶段.必须对代码进行测试,以检验它的操作和准确性.往往还必须对代码进行分析,以便消除性能瓶颈和资源浪费(尤其是内存).还必须对代码进行监视,以便对故障进行定位.识别使用模式.寻找进一步增强和优化的机会以及探测入侵尝试和实际的入侵. Eclipse Test and Performance Tools Platform(TPTP)是一种软件体系结构以及几个扩展了 Eclipse 平台的组件(到目前为止),包括测