针对InfoSphere BigInsights的基于Eclipse工具加快应用程序开发

如果您刚接触大数据应用程序开发并且想要快速进行开发,那么您可能希望了解 IBM InfoSphere BigInsights Enterprise Edition(一个基于开源 Apache Hadoop 项目的平台)提供的工具。BigInsights Eclipse 工具包括向导、代码生成器、上下文相关的帮助,以及一种简化开发工作的测试环境。使用这些工具,您可以在 BigInsights 基于 Web 的目录中快速 “发布” 应用程序。然后,您可以使用 BigInsights Web 控制台在集群上部署应用程序,以便授权用户可以启动该应用程序。

本文介绍 BigInsights 应用程序开发生命周期,并介绍如何使用最少的工作创建、发布和部署您的第一个简单应用程序。您还可以了解稍后如何升级到具有新功能的应用程序并重新部署该应用程序。

您构建的应用程序将使用 Jaql(一种查询和脚本编写语言,使用的是一种基于 JSON 的数据模型)从一个社交媒体站点检索有关 IBM Watson 研究项目的数据,处理该信息,并在您的分布式文件系统中存储结果。在这里我们不会详细介绍 Jaql,在另一篇文章中会详细介绍它。但是,这里介绍的许多 BigInsights 应用程序开发技巧并不是特定于 Jaql 的。实际上,BigInsights 工具和样例可以帮助您创建各种应用程序和软件组件,包括 Java MapReduce、Hive、Pig 和文本分析。

背景知识

BigInsights 是一个软件平台,旨在帮助组织发现并分析隐藏在大量不同数据类型中的业务洞察 — 这些数据通常会被忽略或丢弃,因为它太不切实际,或者是使用传统方法难以处理这些数据。此类数据示例包括社交媒体数据、新闻提要、日志记录、点击流、电子传感器输出,以及一些事务性数据。

为了帮助公司从这些类型的数据中有效地获取价值,企业版的 BigInsights 包含了几个开源项目,包括 Apache Hadoop 和一些 IBM 开发的技术。Hadoop 及其补充性项目为数据密集型应用程序提供了一种有效的软件框架,可利用分布式计算环境实现高可扩展性。 BigInsights 企业版随附提供的 IBM 技术极大地丰富了此开源框架,为该框架提供了分析软件、企业软件集成、平台扩展和工具。IBM 提供的技术包括基于 Web 的应用程序目录和进行应用程序开发的 Eclipse 工具。

通过 BigInsights Web 控制台的 Applications 选项卡可访问应用程序目录,它包括几个 IBM 提供的样例应用程序和管理员已添加的任意第三方或用户编写的应用程序。图 1 在左侧展示了应用程序目录的子集。在目录中发布的所有应用程序都有一个图标和一个名称。图标左上角的三角形表示还未在 BigInsights 集群上部署该应用程序。(在 图 1 中,还未部署 Ad hoc Hive query 和 Ad hoc Pig query 应用程序。)

当用户选择了要运行的应用程序后,会在右上角的窗格中显示一个启动面板。在目录中发布的所有应用程序具有一个一致的界面,用户可在其中指定相应的调用信息。此类信息包括所有必需的输入参数、应用程序运行的执行名以及调度信息等。图 1 还显示了用于即席 Jaql 查询应用程序的此信息的子集。右下角是有关该应用程序执行的历史记录信息。

图 1. BigInsights Web 控制台的 Applications 选项卡

在本文中,您将了解如何在此目录中发布应用程序和控制应用程序启动所需的信息。您还可以从目录中启动应用程序并检查结果(可选)。

准备开发您的第一个应用程序

要使用 Eclipse 开始开发 BigInsights 应用程序,请下载必备的 Eclipse 版本和 Eclipse Data Tools 平台。对于我们的测试场景,我们在 Linux® 系统上安装了 Eclipse Helios Service Release 2 和 Eclipse Data Tools 1.9.1.x。(尽管可以使用基于 Windows® 的 Eclipse 环境执行 BigInsights 应用程序开发任务,但是 步骤 3:测试应用程序 需要 Linux 或 UNIX® Eclipse 安装。)我们的目标 BigInsights 部署环境是 BigInsights Enterprise Edition 1.4。

安装了 Eclipse 环境并且访问 BigInsights Enterprise Edition 服务器后,启动 BigInsights Web 控制台。在 Welcome 选项卡的 Quick Links 部分,单击 Enable your Eclipse development environment for BigInsights application development,如 图 2 所示。将出现一个新窗口,显示下载 BigInsights 工具并将它安装到 Eclipse 环境的详细说明。

图 2. 有关配置 BigInsights Eclipse 工具的 Web 控制台链接

时间: 2024-07-31 00:26:37

针对InfoSphere BigInsights的基于Eclipse工具加快应用程序开发的相关文章

使用Eclipse RCP进行桌面程序开发(二):菜单、工具栏和对话框

在使用Eclipse RCP进行桌面程序开发(一):快速起步中,我们通过Eclipse的插件开发 向导,逐步建立了一个RCP应用程序,但是,这个程序没有任何功能,难以激起我们学习的兴 趣.在这一节,我们将一起探索怎样在程序中添加菜单和工具条.先看一下成果: 图一.图二:带有菜单和工具条的RCP程序 图三:工具栏上的按钮的提示文本

基于Grove的.NET应用程序开发提示

程序 基于Grove的.NET应用程序开发提示 1. 尽量避免新增映射实体类,主要表现在关系映射实体.当程序需要查询符合某种条件的记录时,往往需要通过关系映射实体进行查询,当该关系实体在其他调用者使用时,有时又因为缺少某些字段而需要向该关系映射实体新增查询字段或重新建立实体,所以在关系实体建立的时候,应尽量考虑其他调用者的需求,这样可以有效的避免关系映射实体的重复或因关系实体的改变而导致的其他不安定因素. 2. 避免在数据操作层中出现同样的功能(方法),尽管这些功能可能不属于同一个管理类.当调用

基于Oracle ADF的应用程序开发

摘要:介绍了ADF的特点和结构,描述了使用ADF开发J2EE应用程序的过程. 关键词:ADF ORACLE J2EE MVC ADF简介 ADF(Application Development Framework)是Oracle公司为简化J2EE程序开发的复杂性专门开发的一 种解决方案,ADF通过减少实现设计模式和应用程序框架的代码量,简化了J2EE的研发难度.其优点主要 体现在以下四个方面: (1) 开发环境:大部分J2EE框架都没有与之配套的开发工具,ORACLE为ADF提供了JDEVELO

使用Eclipse RCP进行桌面程序开发(一):快速起步

所谓RCP,就是Rich Client Platform的缩写,即富客户平台,是Eclipse进化的产物(自 3.0版以后出现),是Eclipse组织向用户提供的强大的开放性开发平台,能够使用户方便地 创建自己的基于Eclipse的应用程序,并且这些应用程序能够得到Eclipse的底层支持.更重 要的是,我们可以利用Java创建象Eclipse这么漂亮的桌面程序. 我相信,在未来的几年里,RCP一定会变得非常流行.使用RCP,我们可以开发界面象 Eclipse这样漂亮的桌面程序,比如医院管理系统

使用Eclipse RCP进行桌面程序开发(六):向OpenGL进军

看完这一篇,我们应该可以使用OpenGL绘制如下图的场景了.该场景是一个旋转的三菱锥 矩阵,下面是旋转到不同方位的截图: 开发(六):向OpenGL进军-eclipse">

使用Eclipse RCP进行桌面程序开发(五):2D绘图

看完这篇文章,可以实现如下界面: 开发(五):2D绘图-eclipse"> 当我第一次看到RCP的时候,我就梦想着有一天能够用它开发界面华丽的2D和3D程序,经 历过前面的探索,今天终于可以揭开2D绘图的神秘面纱.在包资源管理器的插件依赖项中, 我们一眼就可以看到org.eclipse.swt.graphics包,毫无疑问,和2D绘图有关的类就在这个 包中.还有一个org.eclipse.swt.opengl包也很引人注目,但是里面却只有GLCanvas类和 GLData类,怎么也找不到传

使用Eclipse RCP进行桌面程序开发(三):视图和透视图

Eclipse RCP开发中,和用户进行交互最多的界面,应该是视图了,而透视图就是将已有 的视图.菜单.工具栏.编辑器等等进行组合和布局.看完这一节,我们就可以建立如下图 这样的程序界面了. 首先我们来介绍一下视图,建立一个视图其实非常简单,只要从 org.eclipse.ui.part.ViewPart继承一个类,然后在plugin.xml中进行视图的配置.其中, 向视图中添加控件的操作,我们即可以手工编写,也可以使用Designer插件,我这里推荐大 家使用Designer插件,该插件对RC

简化基于数据库的DotNet应用程序开发

分析 要做一个基于数据库的应用程序,我们有大量的重复劳动要去做,建表,写增 删改查的SQL语句,写与数据库表对应的实体类,写执行SQL的c#代码,写添加. 修改.列表.详细页面等等.这些活动都是围绕着一个个都数据表来开展的, 在.NET领域有很多的OR Mapping的方案,但好多方案用起来好用,但原理很复杂 ,而且性能也不好把握,所以我们可以做一个轻型的ORM方案.有了ORM框架,根 据数据表写c#实体类这些劳动,其实也可以写一个代码生成器来帮我们生成,甚 至代码生成器还能帮我们生成一些界面的

使用Eclipse RCP进行桌面程序开发(四):在Windows中使用Active X控件

看完这篇文章,可以开发如下的界面: 没有嵌入Active X控件的视图: 嵌入浏览器控件,并显示www.blogjava.net的主页: 在Windows系统下,OLE和Active X控件是两个非常吸引人的技术,它们的基础都是COM. OLE的体验,就是平时我们可以把Excel表格嵌入Word文档,或者把PDF嵌入浏览器显示一样, 而Active X控件更是无处不在,做VB开发和网页开发的人都应该很熟悉.使用Windows系统中 丰富的Active X控件资源,我们可以实现功能非常强大的程序.