Apache Thrift使用总结

使用感受

之前对Thrift的理解有点不准确,使用之后发现Thrift比想象中的要简单得多。

Thrift做的事情就是跨语言的分布式RPC,通过编写.thrift文件声明接口类和方法,客户端调用定义的方法,Server端实现定义的接口。虽然的确RPC是需要网络请求,但不像Netty这种NIO网络编程库(还要关注很多数据传输中的细节,比如数据如何序列化、如何在字节数组里建立结构、如何在两端解析字节数组、如何处理Handler里的事件状态、如何把多个Handler按顺序串起来),Thrift掩盖了数据传输这件事情,开发者使用的时候就是纯纯的RPC的使用感受。

基本使用

Thrift使用起来几乎没有任何门槛,可以看这篇HelloWorld的文章,虽然有点老,但是看完之后基本使用起来没有任何障碍了。

官方给出的这个例子更加全面些,全面在.thrift文件里可以声明的东西列的更全些。

下面看看两个.thrift的定义:

shared.thrift

/**
 * This Thrift file can be included by other Thrift files that want to share
 * these definitions.
 */

namespace java com.baidu.mordor.sink.service

struct SharedStruct {
  1: i32 key
  2: string value
}

service SharedService {
  SharedStruct getStruct(1: i32 key)
}

tutorial.thrift

/**
 * The first thing to know about are types. The available types in Thrift are:
 *
 *  bool        Boolean, one byte
 *  byte        Signed byte
 *  i16         Signed 16-bit integer
 *  i32         Signed 32-bit integer
 *  i64         Signed 64-bit integer
 *  double      64-bit floating point value
 *  string      String
 *  binary      Blob (byte array)
 *  map<t1,t2>  Map from one type to another
 *  list<t1>    Ordered list of one type
 *  set<t1>     Set of unique elements of one type
 *
 * Did you also notice that Thrift supports C style comments?
 */

// Just in case you were wondering... yes. We support simple C comments too.

/**
 * Thrift files can reference other Thrift files to include common struct
 * and service definitions. These are found using the current path, or by
 * searching relative to any paths specified with the -I compiler flag.
 *
 * Included objects are accessed using the name of the .thrift file as a
 * prefix. i.e. shared.SharedObject
 */
include "shared.thrift"

/**
 * Thrift files can namespace, package, or prefix their output in various
 * target languages.
 */
namespace java com.baidu.mordor.sink.service

/**
 * Thrift lets you do typedefs to get pretty names for your types. Standard
 * C style here.
 */
typedef i32 MyInteger

/**
 * Thrift also lets you define constants for use across languages. Complex
 * types and structs are specified using JSON notation.
 */
const i32 INT32CONSTANT = 9853
const map<string,string> MAPCONSTANT = {'hello':'world', 'goodnight':'moon'}

/**
 * You can define enums, which are just 32 bit integers. Values are optional
 * and start at 1 if not supplied, C style again.
 */
enum Operation {
  ADD = 1,
  SUBTRACT = 2,
  MULTIPLY = 3,
  DIVIDE = 4
}

/**
 * Structs are the basic complex data structures. They are comprised of fields
 * which each have an integer identifier, a type, a symbolic name, and an
 * optional default value.
 *
 * Fields can be declared "optional", which ensures they will not be included
 * in the serialized output if they aren't set.  Note that this requires some
 * manual management in some languages.
 */
struct Work {
  1: i32 num1 = 0,
  2: i32 num2,
  3: Operation op,
  4: optional string comment,
}

/**
 * Structs can also be exceptions, if they are nasty.
 */
exception InvalidOperation {
  1: i32 what,
  2: string why
}

/**
 * Ahh, now onto the cool part, defining a service. Services just need a name
 * and can optionally inherit from another service using the extends keyword.
 */
service Calculator extends shared.SharedService {

   void ping(),

   i32 add(1:i32 num1, 2:i32 num2),

   i32 calculate(1:i32 logid, 2:Work w) throws (1:InvalidOperation ouch),

   /**
    * This method has a oneway modifier. That means the client only makes
    * a request and does not listen for any response at all. Oneway methods
    * must be void.
    */
   oneway void zip()

}

Thrift通过IDL(接口定义语言),在.thrift文件里声明接口类和方法,声明struct结构、const、Exception等,还可以include别的.thrift文件,这套语法与C非常相似。通过编写IDL和generate代码,做到了不同语言之间的RPC,客户端实现接口类和使用结构类的时候非常简单好用。
上面例子的代码可以从官方下载到,可以放到本地看一下他的使用,非常简单。

Thrift重要组件

Thrift API里三个重要组成部分:Protocal,Transport,Server。

Protocal定义了消息如何序列化。常见的是TBinaryProtocol,TJSONProtocol,TCompactProtocol。

Transport定义了消息在客户端和服务端如何通信。常见的是TSocket,TFramedTransport,TNonblockingTransport等。

Server从transport端接收序列化后的消息,根据protocal反序列化回来,然后调用用户实现的消息handler(接口实现类),最后把返回的数据序列化后再传回给客户端。常见的TServer为TSimpleServer,THsHaServer,TThreadPoolServer,TNonBlockingServer,TThreadedSelectorServer。下面会具体介绍各个Server的特点,开发者需要选择适合自己场景的一套 Server+对应的Transport+对应的Protocol。

TServer说明

Thrift实现的几种不同的TServer。对于Java而言,版本按0.9.0为准:

TSimpleServer在sever端只有一个I/O阻塞的单线程,每次只接受并服务一个客户端,适合测试使用,不能用于线上服务。

TNonblockingServer修改了TSimpleServer里阻塞的缺点,借助NIO里的Selector实现非阻塞I/O,允许多个客户端连接并且客户端可以使用select()选择。但是处理消息和select()的是同一个线程,当有大量客户端连接的时候,性能是不理想的。

 THsHaServer(半同步半异步server)在以上基础上,使用一个单独线程来处理网络I/O,一个worker线程池来处理消息。好处是只要有空闲worker线程,消息可以被及时、并行处理,吞吐量会大一些。

TThreadedSelectorServer,与THsHaServer的区别是处理网络I/O也是多线程了,它维护两个线程池,一个负责网络I/O,一个负责数据处理。优点是当网络I/O是瓶颈的情况下,性能比THsHaServer更好。

TThreadPoolServer有一个专用的线程来接收connections,连接被建立后,会从ThreadPoolExecutor里取一个工作线程来负责这次连接,直到连接断开后线程回到线程池里,且线程池大小可配。也就是说,并发性的大小可根据服务器设定,如果不介意开很多线程的话,TThreadPoolServer是个还不错的选择。

全文完 :)

时间: 2024-11-09 00:18:59

Apache Thrift使用总结的相关文章

Apache Thrift入门(安装、测试与java程序编写)

安装Apache Thrift ubuntu linux运行: #!/bin/bash #下载 wget http://mirrors.cnnic.cn/apache/thrift/0.9.1/thrift-0.9.1.tar.gz tar zxvf thrift-0.9.1.tar.gz cd thrift-0.9.1.tar.gz ./configure make make install #编译java依赖包 cd lib/java ant 安装ubuntu依赖 sudo apt-get

Apache Thrift的使用

Thrift是什么,看这里:http://thrift.apache.org/ 1.从官网下载thrift Thrift官网:http://thrift.apache.org/,Windows 和 Linux请分别下载不同的版本. 在Windows上,将下载的压缩文件解压后,放到一个文件夹下,并为其配置环境变量,以便以后可以直接从命令行启用它.注意:在网上找找,将libthrift-0.9.0.jar和slfj-api-1.7.2.jar一起放入我们项目的lib文件夹下,并添加到项目的build

大数据系统构建:可扩展实时数据系统构建原理与最佳实践》一3.2 Apache Thrift

本节书摘来自华章出版社<大数据系统构建:可扩展实时数据系统构建原理与最佳实践>一书中的第3章,第3.2节,南森·马茨(Nathan Marz) [美] 詹姆斯·沃伦(JamesWarren) 著 马延辉 向 磊 魏东琦 译,更多章节内容可以访问"华章计算机"公众号查看. 3.2 Apache Thrift Apache Thrift(http://thrift.apache.org/)是一个可以用来定义静态类型化的.可实施模式的工具.它提供了接口定义语言,以通用数据类型的术

Apache Thrift - 可伸缩的跨语言服务开发框架

http://www.ibm.com/developerworks/cn/java/j-lo-apachethrift/   前言: 目前流行的服务调用方式有很多种,例如基于 SOAP 消息格式的 Web Service,基于 JSON 消息格式的 RESTful 服务等.其中所用到的数据传输方式包括 XML,JSON 等,然而 XML 相对体积太大,传输效率低,JSON 体积较小,新颖,但还不够完善.本文将介绍由 Facebook 开发的远程服务调用框架 Apache Thrift,它采用接口

转 比较跨语言通讯框架:Apache Thrift和Google Protobuf

    前两天想在微博上发表一个观点:在现在的技术体系中,能用于描述通讯协议的方式很多,xml,json,protobuf,thrift,如果在有如此众多选择的基础上,在设计系统时,还自造协议,自己设计协议类型和解析方式,那么我只能说,您真的落后了,不是技术上,而是思想上.对于xml,和json我们不做过多描述了,参考相关文档就可以了.特别是json,如今在 web系统,页游系统的前后台通讯中,应用非常广泛.本文将重点介绍两种目前在大型系统中,应用比较普遍的两种通讯框架,thrift和Proto

Apache Thrift的客户端和服务端可以用不同的语言实现吗

问题描述 菜鸟求解....ApacheThrift的客户端和服务端用不同的语言实现,比如服务端我用JAVA语言,而客户端我用C++语言实现,这样的话,客户端和服务端可以通信吗?求指导...

thrift和java交互案例和结果

代码结构: 1>>>>>>  demoHello.thrift: namespace java xdg.luozhonghua.thrift.service /*  struct UserProfile { 1: i32 uid = 1, 2: string name = "User1", 3: string blurb, 4: list<i32> subNodeList,       5: map<i32,string> s

thrift的TTransport层的缓存传输类TBufferedTransport和缓冲基类TBufferBase

本节主要介绍缓冲相关的传输类,缓存的作用就是为了提高读写的效率.Thrift在实现缓存传输的 时候首先建立一个缓存的基类,然后需要实现缓存功能的类都可以直接从这个基类继承.下面就详细分 析这个基类以及一个具体的实现类. 缓存基类TBufferBase 缓存基类就是让传输类所有的读写函 数都提供缓存来提高性能.它在通常情况下采用memcpy来设计和实现快路径的读写访问操作,这些操作 函数通常都是小.非虚拟和内联函数.TBufferBase是一个抽象的基类,子类必须实现慢路径的读写函 数等操作,慢路

Thrift的TProtocol类体系原理及源码详解:二进制协议类TBinaryProtocolT(TBi

Thrift的TProtocol类体系原理及源码详解:二进制协议类TBinaryProtocolT(TBinaryProtocol) 这个协议是Thrift支持的默认二进制协议,它以二进制的格式写所有的数据,基本上直接 发送原始数据.因为它直接从TVirtualProtocol类继承,而且是一个模板类.它的模板参数 就是一个封装具体传输发送的类,这个类才是真正实现数据传输的.这个类的定义上一节举 例已经出现过了就不在列出来了. 下面我就结合scribe的Log函数执行的具体过程来 分析使用这个协