IO模型

一、  
简介

介绍同步、异步、阻塞、非阻塞的区别。

介绍五中IO模型。

介绍IO多路复用使用的Ractor设计模式;介绍异步IO的Proactor设计模式,以及Proactor的流程。

IO模型的对比。

 

二、  
同步、异步、阻塞、非阻塞

1.  阻塞(blocking)VS非阻塞(non-blocking)

依读操作为例:当用户线程发起一个IO读请求时,内核会去查看要读取的数据是否就绪,对于阻塞IO来说,如果数据没有就绪,则会一直在那等待,直到数据就绪;对于非阻塞IO来说,如果数据没有就绪,则会返回一个标志信息告知用户线程当前要读的数据没有就绪,当数据就绪之后,再将数据拷贝到用户线程。

一个完整的IO读请求操作包括两个阶段:

²  
查看数据是否就绪;

²  
进行数据拷贝(内核将数据拷贝到用户线程)。

阻塞和非阻塞的区别就在于第一个阶段,如果数据没有就绪,在查看数据是否就绪的过程中是一直等待,还是直接返回一个标志信息。

 

2.  同步VS异步

同步与异步的区别在于线程执行时,一个线程执行时否会导致其他的线程暂时等待。同步一个线程执行时,其他线程全部暂停;异步一个线程执行时,其他线程不暂停。

同步IO:当用户发出IO请求操作之后,如果数据没有就绪,需要通过用户线程或者内核不断地去轮询数据是否就绪,当数据就绪时,再将数据从内核拷贝到用户线程;

异步IO:只有IO请求操作的发出是由用户线程来进行的,IO操作的两个阶段都是由内核自动完成,然后发送通知告知用户线程IO操作已经完成。也就是说在异步IO中,不会对用户线程产生任何阻塞。

 

三、  
IO模型

1.  同步阻塞IO(Blocking
IO)

同步阻塞IO模型是最简单的IO模型,用户线程在内核进行IO操作时被阻塞。

用户线程通过系统调用read发起IO读操作,由用户空间转到内核空间。内核等到数据包到达后,然后将接收的数据拷贝到用户空间,完成read操作。

Java io从文件中读取内容或者向文件中写入数据均使用此模型;从sokect读取数据或者向socket中写入数据也使用此模型。

 

2.  同步非阻塞IO(Non-blocking IO)

同步非阻塞IO是在同步阻塞IO的基础上,将socket设置为NONBLOCK。这样做用户线程可以在发起IO请求后可以立即返回。

由于socket是非阻塞的方式,因此用户线程发起IO请求时立即返回。但并未读取到任何数据,用户线程需要不断地发起IO请求,直到数据到达后,才真正读取到数据,继续执行。

第一阶段:用户进程没有阻塞,也就是没有挂起,它一值在询问数据有没有到达kernel buffer中,忙等…;

第二个阶段:数据从kernel buffer复制到用户进程空间,是阻塞的。

这种IO模型会大量的占用CPU的时间,效率很低效,很少使用。

 

 

3.  IO多路复用(IO Multiplexing / 异步阻塞IO)

IO多路复用模型是建立在内核提供的多路分离函数select,poll,epoll基础之上的,使用这些函数可以避免同步非阻塞IO模型中轮询等待的问题。

 

1)      
Rector模式

IO多路复用使用的是Reactor模式,我们先看一下Rector模式。

a)      
Handle

表示操作系统中的句柄,是对资源在操作系统层面上的一种抽象,它可以是打开的文件、一个连接(Socket)、Timer等。由于Reactor模式一般使用在网络编程中,因而这里一般指Socket Handle,即一个网络连接(Connection,在Java NIO中的Channel)。这个Channel注册到Synchronous Event Demultiplexer中,以监听Handle中发生的事件,对ServerSocketChannnel可以是CONNECT事件,对SocketChannel可以是READ、WRITE、CLOSE事件等。

b)      
EventHandler

表示IO事件处理器,它拥有IO文件句柄Handle(通过getHandle获取),以及对Handle的操作handleEvent(读/写等)。

继承于EventHandler的子类可以对事件处理器的行为进行定制。

c)       
Reactor类

用于管理EventHandler(注册、删除等),并使用handleEvents实现事件循环,不断调用同步事件多路分离器的多路分离函数select,只要某个文件句柄被激活(可读/写等),select就返回,handleEvents就会调用与文件句柄关联的事件处理器的handleEEvent进行相关操作。

d)      
Synchronous event demultiplexer

阻塞等待一系列的Handle中的事件到来。这个模块一般使用操作系统的select来实现,在Java NIO中用Selector来封装。当执行Selector.select()时会执行pollWrapper.poll()方法,此方法会调用native的epoll方法,当Selector.select()返回时,可以调用Selector的selectedKeys()方法获取Set<SelectionKey>,一个SelectionKey表达一个有事件发生的Channel以及该Channel上的事件类型。

 

2)      
模型

通过Reactor的方式,可以将用户线程轮询IO操作状态的工作统一交给handleEvents事件循环进行处理。

用户线程注册事件处理器之后可以继续执行做其他的工作(异步),而Reactor线程负责调用内核的select函数检查socket状态。

当有socket被激活时,则通知相应的用户线程(或执行用户线程的回调函数),执行handleEvent进行数据读取、处理的工作。

 

由于select函数是阻塞的,因此多路IO复用模型也被称为异步阻塞IO模型。这里的所说的阻塞是指select函数执行时线程被阻塞,而不是指socket。一般在使用IO多路复用模型时,socket都是设置为NONBLOCK的,不过这并不会产生影响,因为用户发起IO请求时,数据已经到达了,用户线程一定不会被阻塞。

3)      
伪代码

select(socket);
while(true) {
    sockets = select();
    for(socket in sockets) {
        if(can_read(socket)) {
            read(socket, buffer);
            process(buffer);
        }
    }
}

 

4)      
NIO示例代码

详细示例,请参考《NIO》

 

4.  信号驱动式IO(signal-driven
IO)

首先我们允许Socket进行信号驱动IO,并安装一个信号处理函数,进程继续运行并不阻塞。当数据准备好时,进程会收到一个SIGIO信号,可以在信号处理函数中调用I/O操作函数处理数据。

 

 

5.  异步IO(Asynchronous IO)

“真正”的异步IO需要操作系统更强的支持。在IO多路复用模型中,事件循环将文件句柄的状态事件通知给用户线程,由用户线程自行读取数据、处理数据。而在异步IO模型中,当用户线程收到通知时,数据已经被内核读取完毕,并放在了用户线程指定的缓冲区内,内核在IO完成后通知用户线程直接使用即可。

1)      
Proactor模式

异步IO模型使用了Proactor设计模式,先看一下Proactor设计模式。

Proactor模式和Reactor模式在结构上比较相似,不过在用户(Client)使用方式上差别较大。用户线程通过向Reactor对象注册感兴趣的事件监听,然后事件触发时调用事件处理函数。

AsynchronousOperationProcessor异步操作处理器;负责执行异步操作,一般由操作系统内核实现。

 

2)      
时序

用户线程将AsynchronousOperation(读/写等)、Proactor、CompletionHandler注册到AsynchronousOperationProcessor,当用户线程调用异步API后,便继续执行自己的任务。

AsynchronousOperationProcessor会开启独立的内核线程执行异步操作,当异步IO操作完成时,AsynchronousOperationProcessor将AsynchronousOperation、Proactor、CompletionHandler取出,连同IO操作的结果数据一起转发给Proactor。

Proactor负责触发CompletionHandler中handleEvent函数。

虽然Proactor模式中每个异步操作都可以绑定一个Proactor对象,但是一般在操作系统中,Proactor被实现为Singleton模式,以便于集中化分发操作完成事件。

 

3)      
模型

异步IO模型中,用户线程直接使用内核提供的异步IO API发起read请求,且发起后立即返回,继续执行用户线程代码。不过此时用户线程已经将调用的AsynchronousOperation和CompletionHandler注册到内核,然后操作系统开启独立的内核线程去处理IO操作。当read请求的数据到达时,由内核负责读取socket中的数据,并写入用户指定的缓冲区中。最后内核将read的数据和用户线程注册的CompletionHandler分发给内部Proactor,Proactor将IO完成的信息通知给用户线程(一般通过调用用户线程注册的完成事件处理函数),完成异步IO。

 

不少高性能并发服务程序使用IO多路复用模型+多线程任务处理的架构基本可以满足需求。况且目前操作系统对异步IO的支持并非特别完善,更多的是采用IO多路复用模型模拟异步IO的方式(IO事件触发时不直接通知用户线程,而是将数据读写完毕后放到用户指定的缓冲区中)。

 

 

 

四、  
IO模型对比

1.  IO模型功能对比

 

2.  IO模型特性对比


 


同步阻塞IO

BIO


伪异步IO


非阻塞IO

NIO


异步IO

AIO


客户端连接数:IO线程数


1:1


M:N(M可以大于N)


M:1(1个线程处理多个连接)


M:0(被动回调,不需要额外线程)


阻塞


阻塞


阻塞


非阻塞


非阻塞


同步


同步


同步


同步(IO多路复用)


异步


Api使用难度


简单


简单


非常复杂


复杂


调试难度


简单


简单


复杂


复杂


可靠性


非常差





吞吐量





 

 

3.  伪异步IO

在NIO没有流行之前,为了解决tomcat通信线程铜鼓IO导致业务线程被挂住的问题,大家想到一个拌饭:在通信线程和业务线程之间做一个缓冲区,这个缓冲区用于隔离IO线程和业务线程的直接访问,实现业务线程不被IO线程阻塞。对于后端业务来说,将消息或者Task放在线程池中就直接返回了,它不在直接访问IO线程或者对IO读写,这样就不会被同步阻塞。另外,接收到客户端封装的Task后,放在后端的线程池,让后端的线程异步取任务执行,这样就解决了一连接一线程的问题。这种做法常被称之为伪异步IO。

 

 

 

 

五、  
epoll原理

epoll是Linux下的一种IO多路复用技术,可以非常高效的处理数以百万计的socket句柄。

1.  epoll方法

int epoll_create(int size)

epoll_create建立一个epoll对象。参数size是内核保证能够正确处理的最大句柄数,多于这个最大数时内核可不保证效果。

int epoll_ctl(int epfd, int op, int fd, struct epoll_event
*event)

epoll_ctl可以操作epoll_create创建的epoll,如将socket句柄加入到epoll中让其监控,或把epoll正在监控的某个socket句柄移出epoll。

int epoll_wait(int epfd, struct epoll_event *events,int
maxevents, int timeout)

epoll_wait在调用时,在给定的timeout时间内,所监控的句柄中有事件发生时,就返回用户态的进程。

2.  epoll内部实现

epoll初始化时,会向内核注册一个文件系统,用于存储被监控的句柄文件,调用epoll_create时,会在这个文件系统中创建一个file节点。同时epoll会开辟自己的内核高速缓存区,以红黑树的结构保存句柄,以支持快速的查找、插入、删除。还会再建立一个list链表,用于存储准备就绪的事件。

当执行epoll_ctl时,把socket句柄放到epoll文件系统里file对象对应的红黑树上;给内核中断处理程序注册一个回调函数,告诉内核,如果这个句柄的中断到了,就把它放到准备就绪list链表里。所以,当一个socket上有数据到了,内核在把网卡上的数据copy到内核中后,就把socket插入到就绪链表里。

当epoll_wait调用时,仅仅观察就绪链表里有没有数据,如果有数据就返回,否则就sleep,超时时立刻返回。

3.  epoll的工作模式

LT:level-trigger,水平触发模式

只要某个socket处于readable/writable状态,无论什么时候进行epoll_wait都会返回该socket。

ET:edge-trigger,边缘触发模式

只有某个socket从unreadable变为readable或从unwritable变为writable时,epoll_wait才会返回该socket。

 

六、  
参考资料

高性能IO模型浅析

http://www.cnblogs.com/fanzhidongyzby/p/4098546.html

 

reactor-siemens.pdf

http://www.dre.vanderbilt.edu/~schmidt/PDF/reactor-siemens.pdf

 

深入浅出NIO
Socket实现机制

http://www.jianshu.com/p/0d497fe5484a

 

时间: 2024-10-26 21:45:22

IO模型的相关文章

Linux IO模型漫谈(6)- 信号驱动IO模型

Unix上有定义了许多信号.源自Berkeley的实现使用的是SIGIO信号来支持套接字和终端设备上的信号驱动IO. 信号驱动IO模型主要是在UDP套接字上使用,在TCP套接字上几乎是没有什么使用的. 在UDP上,SIGIO信号会在下面两个事件的时候产生: 1 数据报到达套接字 2 套接字上发上一部错误 因此我们很容易判断SIGIO出现的时候,如果不是发生错误,那么就是有数据报到达了. 而在TCP上,由于TCP是双工的,它的信号产生过于平凡,并且信号的出现几乎没有告诉我们发生了什么事情.因此对于

[转]高性能IO模型浅析

高性能IO模型浅析 转自:http://www.cnblogs.com/fanzhidongyzby/p/4098546.html 服务器端编程经常需要构造高性能的IO模型,常见的IO模型有四种: (1)同步阻塞IO(Blocking IO):即传统的IO模型. (2)同步非阻塞IO(Non-blocking IO):默认创建的socket都是阻塞的,非阻塞IO要求socket被设置为NONBLOCK.注意这里所说的NIO并非Java的NIO(New IO)库. (3)IO多路复用(IO Mul

浅析IO模型

也许很多朋友在学习NIO的时候都会感觉有点吃力,对里面的很多概念都感觉不是那么明朗.在进入Java NIO编程之前,我们今天先来讨论一些比较基础的知识:I/O模型.下面本文先从同步和异步的概念 说起,然后接着阐述了阻塞和非阻塞的区别,接着介绍了阻塞IO和非阻塞IO的区别,然后介绍了同步IO和异步IO的区别,接下来介绍了5种IO模型,最后介绍了两种和高性能IO设计相关的设计模式(Reactor和Proactor). 以下是本文的目录大纲: 一.什么是同步?什么是异步? 二.什么是阻塞?什么是非阻塞

Linux五种IO模型性能分析

socket阻塞与非阻塞,同步与异步 1. 概念理解      在进行网络编程时,我们常常见到同步(Sync)/异步(Async),阻塞(Block)/非阻塞(Unblock)四种调用方式:同步:       所谓同步,就是在发出一个功能调用时,在没有得到结果之前,该调用就不返回.也就是必须一件一件事做,等前一件做完了才能做下一件事. 例如普通B/S模式(同步):提交请求->等待服务器处理->处理完毕返回 这个期间客户端浏览器不能干任何事 异步:       异步的概念和同步相对.当一个异步过

高性能IO模型浅析

高性能IO模型浅析 服务器端编程经常需要构造高性能的IO模型,常见的IO模型有四种: (1)同步阻塞IO(Blocking IO):即传统的IO模型. (2)同步非阻塞IO(Non-blocking IO):默认创建的socket都是阻塞的,非阻塞IO要求socket被设置为NONBLOCK.注意这里所说的NIO并非Java的NIO(New IO)库. (3)IO多路复用(IO Multiplexing):即经典的Reactor设计模式,有时也称为异步阻塞IO,Java中的Selector和Li

几种服务器端IO模型的简单介绍及实现

#include <Winsock2.h> #include <cstdio> #include <cstdlib> #include <cassert> #include <iostream> #include <string> using namespace std; #pragma comment(lib,"ws2_32.lib") int init_win_socket() { WSADATA wsaDat

Linux IO模型漫谈(2)

不管Linux的IO模型的阻塞同步分类是如何分类,几种IO模型的具体实现是确定的.这里借用<Unix 网络编程:卷一>的图片说明. 1 阻塞式IO模型 这个模型也是最容易理解的 程序调用和我们基本的程序编写是一致的: fd = connect() write(fd) read(fd) close(fd) 程序的read必须在write之后执行,当write阻塞住了,read就不能执行下去 2 非阻塞IO模型 从图中可以看出来,这是一个轮询的过程 每次用户询问内核是否有数据报准备好(文件描述符缓

Java IO:操作系统的IO处理过程以及5种网络IO模型

操作系统如何处理IO Linux 会把所有的外部设备都看成一个文件来操作,对外部设备的操作可以看成是对文件的操作. 我们对一个文件的读写,都会通过内核提供的系统调用,内核会给我们返回一个 File Descriptor,这个描述符是一个数字,指向内核的一个结构体,我们应用程序对文件的读写就是对描述符指向的结构体的读写. 系统调用是如何完成IO操作? Linux 会把内存分为 内核区和用户区.Linux 的内核区会帮我们管理所有的硬件资源,并且会提供系统调用,我们应用程序的读操作,就会通过系统调用

Linux IO模型漫谈(1)

基础知识 Linux将所有外部设备都看做一个文件来进行操作.因此,linux对所有外部设备的操作都可以看做是文件的操作.文件的操作当然需要有个标示描述它,这就是文件描述符(file descriptor). linux的IO操作如何形象理解呢? 我们说网络socket的read()是一个IO操作命令,具体流程是这样的: 应用程序调用read命令,通知内核需要做读取数据操作 内核创建一个文件描述符 内核从物理层收到读数据的命令,从网络中获取数据包 数据包传递到TCP/IP层,解析数据包的头 内核将

Linux的Socket IO模型趣解_Linux

前言  之前有看到用很幽默的方式讲解Windows的socket IO模型,借用这个故事,讲解下linux的socket IO模型:  老陈有一个在外地工作的女儿,不能经常回来,老陈和她通过信件联系. 他们的信会被邮递员投递到他们小区门口的收发室里.这和Socket模型非常类似.  下面就以老陈接收信件为例讲解linux的 Socket I/O模型.  一.同步阻塞模型  老陈的女儿第一次去外地工作,送走她之后,老陈非常的挂心她安全到达没有: 于是老陈什么也不干,一直在小区门口收发室里等着她女儿