java

用python + hadoop编写分布式程序

什么是Hadoop? Google为自己的业务需要提出了编程模型MapReduce和分布式文件系统Google File System,并发布了相关论文(可在Google Research的网站上获得: GFS . MapReduce). Doug Cutting和Mike Cafarella在开发搜索引擎Nutch时对这两篇论文做了自己的实现,即同名的MapReduce和HDFS,合起来就是Hadoop. MapReduce的Data flow如下图,原始数据经过mapper处理,再进行par

畅享云时代:八个最佳云端集成开发环境

如今,浏览器其实成为了一个轻量的客户端,允许用户访问各种基于云的应用程序和服务.众多基于传统桌面的软件正在迁移到云端,这一点都不奇怪,基于云的集成开发环境正在不断涌现,已经有很多的开发者在使用 Github 和 Pastebin 来进行在线的协同开发.今天这篇文章挑选了8个最优秀的云集成开发环境推荐给开发者,大家可以体验一下,看哪个适合自己. Cloud9 IDE 基于 NodeJS 构建的在线集成开发环境,语法高亮支持 C#, C++, Python, Perl, Ruby, Scala 等等

hadoop集群在linux下的安装

NOTE:因为hadoop远程调用用的是RPC,所以linux系统必须关闭防火墙service iptables stop 1.vi /etc/inittabid:5:initdefault:改为id:3:initdefault:即为字符型启动 2.ip configuration:/etc/sysconfig/network-scripts/ 3.vi /etc/hosts,add hostname 4.useradd hadoop :增加一个用户passwd hadoop :给用户加密码 5

Google App Engine for Java,第 3 部分: 持久性和关系--基于 Java 的持久性和 Google App Engine 数据存储

在企业环境中,数据持久性是交付可伸缩应用程序的基础.Rick Hightower 在他撰写的有关 Google App Engine for Java 的系列文章的最后一篇中,介绍了 App Engine 当前基于 Java 的持久性框架.让我们学习一些基础知识,了解为什么当前预览版中的 Java 持久性还未到发布的最佳时间,同时获得一个良好的演示,看看您如何在 App Engine for Java 应用程序中保存数据.注意,您将需要启动并运行来自第2部分的联系人管理应用程序,在此过程中学习如

开源云计算技术系列(四)(Cloudera安装配置)

节省篇幅,直入正题. 首先用虚拟机virtualbox 配置一台debian 5.0. debian在开源linux里面始终是最为纯正的linux血统,使用起来方便,运行起来高效,重新审视一下最新的5.0,别有一番似是故人来的感觉. 只需要下载debian-501-i386-CD-1.iso进行安装,剩下的基于debian强大的网络功能,可以很方便的进行软件包的配置.具体过程这里略去,可以在www.debian.org里面找到所有你需要的信息. 下面我们来体验一下稳定版0.183的方便和简洁.

Hive 随谈(六)– Hive 的扩展特性

Hive 是一个很开放的系统,很多内容都支持用户定制,包括: 文件格式:Text File,Sequence File 内存中的数据格式: Java Integer/String, Hadoop IntWritable/Text 用户提供的 map/reduce 脚本:不管什么语言,利用 stdin/stdout 传输数据 用户自定义函数: Substr, Trim, 1 – 1 用户自定义聚合函数: Sum, Average-- n – 1 File FormatTextFileSequenc

Oracle与Freescale展开深度合作

过多的协议和定制化导致了当下一盘散沙的物联网领域,各个机构各自为营开发那些印有"自己标签"的产品.庆幸的是,同样有着许多机构在为整个生态系统的发展做贡献.在之前Eclipse基金会涉足物联网,M2M标准是否已获东风?一文中,我们介绍了Eclipse基金会为了建立物联网标准协议和工具新开的4个项目,更获IBM.Sierra Wireless.Eurotech及Axeda等众多名企响应.而据近日Gigaom的一则消息,数据库巨头Oracle在M2M领域大展拳脚,与嵌入式先驱Freescal

Java开发者必备:PaaS解决方案盘点

PaaS(Platform-as-a-Service)是云服务的一种,服务提供商不仅提供按需索取的硬件和操作系统服务,还提供了应用程序平台和解决方案栈.对开发者而言,PaaS极大程度上减少了IT部署的开销和痛苦,按需为应用程序提供资源,让其更易伸缩. JVM.应用服务器和部署包(例如,WAR和EAR)为Java应用程序提供了天然的隔离,允许不同开发者在同一套基础设施中部署应用程序,因此Java平台十分适合PaaS.但是,过去几年里,大多数PaaS产品都围绕着Ruby和Python这样的平台,当时

快速安装Eucalyptus

从Eucalyptus System网站看到一条新闻,得知Eucalyptus和rPath进行了合作.而rPath是一家提供系统软件打包安装的公司.笔者接触到不少软件系 统都是通过rPath的方式进行的打包.rPath可以把Linux操作系统以及相关的软件一起打成一个安装包.安装包可以是基于虚拟机(比如 VMware/ESX)的,也可以是基于裸机的安装包.基本上用户只需要简单的确认一下,就可以快速的完成操作系统和应用系统的安装.大大改进了用户的安 装体验. Google了一下rPath和Euca

JAVA组成的体系以及优势

Java由四方面组成: ●Java编程语言 ●Java文件格式 ●Java虚拟机(JVM) ●Java应用程序接口(Java API) 优势 与传统程序不同,Sun 公司在推出 Java 之际就将其作为一种开放的技术.全球数以万计的 Java 开发公司被要求所设计的 Java软件必须相互兼容."Java 语言靠群体的力量而非公司的力量"是Sun公司的口号之一,并获得了广大软件开发商的认同.这与微软公司所倡导的注重精英和封闭式的模式完全不同. Sun 公司对 Java 编程语言的解释是:

amazon aws 使用笔记

一.首先,几个概念1.AMIAn Amazon Machine Image (AMI) is an encrypted machine image that contains all information necessary to boot instances of your software.use public AMIs as a base to create your own custom private AMIs.可以理解为系统的一个模板.你可以基于这个模板启动多个系统实例,或者修改这

连接到云,第2部分: 实现混合云模型--将 JMS 队列数据推向 Amazon SQS 队列

"连接到云" 系列教程共三个部分,这是第 2 部分.为了确定创建混合云应用程序的最佳解决方案,连接到云,第 1 部分:在应用程序中使用云探讨了一些主要的云平台供应商的产品.本文是该系列的第 2 部分,您将实现混合云应用程序,该应用程序将组合本地应用程序组件和云计算.应用程序利用本地的 JMS 队列以及云中的 SQS 队列,将这两者组合到一个混合应用程序中. 混合模型 在本文中,我将集中介绍如何向一个云提供商 Amazon 创建混合云应用程序.示例应用程序名为 HybridCloud,它

[文档]Spring in the Cloud

Spring in the Cloud [Content] • What is the Cloud? • My First Cloud App • Scaling the App • Another Cloud Challenge • Java EE 7 • Conclusion   http://bbs.chinacloud.cn/showtopic-10835.aspx

JAVA的起源

Java是一种计算机编程语言,拥有跨平台.面向对象.泛型编程的特性,广泛应用于企业级Web应用开发和移动应用开发. 任职于太阳微系统的詹姆斯·高斯林等人于1990年代初开发Java语言的雏形,最初被命名为Oak,目标设置在家用电器等小型系统的程序语言,应用在电视机.电话.闹钟.烤面包机等家用电器的控制和通信.由于这些智能化家电的市场需求没有预期的高,Sun公司放弃了该项计划.随着1990年代互联网的发展,Sun公司看见Oak在互联网上应用的前景,于是改造了Oak,于1995年5月以Java的名称

用Java开发的《星际争霸》游戏

1.&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp;[代码][Java]代码1自己下载附件吧,导入工程后,src/test目录下打开TestGameCore.java可直接运行游戏2. [图片] Java星际争霸.jpg3. [图片] Java星际争霸2.jpg4. [文件] java swing 星际争霸 ~ 1MB     下载 互联网爱好者:http://www.joelde.com

Java 开发 2.0: 使用方便的 EC2--快速创建 CRUD Web 应用程序并在 Amazon Elastic Compute Cloud 上运行它

提供一个 EC2 实例来托管 Java Web 应用程序将非常简单.在这一期 Java 开发 2.0 中,我们将快速构建一个利用 Groovy.Spring 和 Hibernate(通过 Grails 框架)的 Web 应用程序并将其部署到一个 EC2 实例. 正如您从 "Java 开发 2.0:您也可以租用 EC2" 中了解到的一样,Amazon 的 Elastic Compute Cloud (EC2) 是一个用于托管(Linux®.OpenSolaris 甚至 Windows®)

Azureus一个基于Java的BitTorrent客户端

Azureus是一个基于Java的http://www.aliyun.com/zixun/aggregation/33802.html">BitTorrent客户端,支持I2P和Tor匿名通讯协议.它支持Windows,Mac OS X,Linux和Unix操作系统.Azureus最早于2003年6月在Sourceforge.net发布,大部分是利用Eclipses上的Standard Widget Toolkit所作的实验性程序.它是现在最流行的BitTorrent客户端之一. 在英文用

管理Java线程池及搭建分布式Hadoop调度框架

平时的开发中线程是个少不了的东西,比如tomcat里的servlet就是线程,没有线程我们如何提供多用户访问呢?不过很多刚开始接触线程的开发工程师却在这个上面吃了不少苦头.怎么做一套简便的线程开发模式框架让大家从单线程开发快速转入多线程开发,这确实是个比较难搞的工程. 那具体什么是线程呢?首先看看进程是什么,进程就是系统中执行的一个程序,这个程序可以使用内存.处理器.文件系统等相关资源.例如QQ软件.Eclipse.Tomcat等就是一个exe程序,运行启动起来就是一个进程.为什么需要多线程?如

JAVA手机游戏仍具挖掘空间

当前,http://www.aliyun.com/zixun/aggregation/10267.html">手游市场百家争鸣,正处于群雄逐鹿的激烈阶段,安卓.IOS提供的游戏服务逐渐踏入主流行列,可谓后起之秀.有人称,在这种势头之下,Java游戏的势头日渐衰退,未来目标将向安卓及IOS转移,事实真的如此吗? 不久前,由艾瑞发布的,中国手机游戏用户行为报告显示:塞班.Java平台操作系统依然是手机游戏用户主要平台,塞班占据39.7%,Java平台用户21.3%.Java在国内依然占有一定的

THE SURVEY ON MAPREDUCE

THE SURVEY ON MAPREDUCE V.VIJAYALAKSHMI A.AKILA S.NAGADIVYA This paper provides an overview of MapReduce programming model, its various applications and different implementations of MapReduce. GridGain is another open source java implementation of ma