LINUX系统编程 关于SDTIO库缓冲区

我们知道标准C中的文件读取的函数比如printf,fwrite等函数,实际都是调用OS级别的
API,比如LINUX下就是wirte,read函数,而write read函数在用户态下是没有缓冲的,
当然在内核态有OS CACHE/OS BUFFER,所以某些直接调用wirte,read的程序肯定会
分配一个缓冲区,特别是O_DIRECT这种方式下,内核态的OS CACHE和OS BUFFER没用
这种情况下用户态的BUFFER显得更加重要,因为不可能一次读一个字节吧,那性能可想而知

而作为用户态空间的STDIO也是这样做的,它会为打开的文件分配缓存,默认应该是8192字节
如下图摘自UNIX系统编程手册 13章:

实际上我们可以使用setvbuf来设置某个打开文件的缓冲大小及模式。
我们来看看原型:
int setvbuf(FILE *stream, char *buf, int mode, size_t size);
返回0为成功,非零为失败
FILE *stream:打开文件的FILE*
char *buf:BUFFER的地址,如果为NULL,MODE为_IOLBF和_IOFBF则自动分配缓冲区
           如果为_IONBF则不分配缓冲区
int mode:_IONBF不使用缓冲区,立即调用write/read,忽略buf和size为NULL和0,stderr属于这个
          _IOLBF使用行缓冲I/O,终端设备默认为这种。要么遇到换行符要么缓冲满才调用write/read,
          stdin/stdout属于这个。
          _IOFBF采用全缓冲I/O,buffer满才调用write/read,磁盘I/O属于这个比如fwrite/fread
size_t size:缓冲大小

更简单函数setbuf原型如下:
void setbuf(FILE *stream, char *buf);
相当于
setvbuf(fp,buf,(buf !=NULL)?_IOFBF:_IONBF,BUFSIZ);

如果buf=NULL则_IONBF打开不带缓冲,或者调用全缓冲,BUFSIZ默认8192。
所以我们如果不想用缓冲直接:
setvbuf(fp,NULL)
即可。

现在回想一下fread
size_t fread(void *ptr, size_t size, size_t nmemb, FILE *stream);

fread的时候我们通常要calloc一块内存用于void *ptr,那么现在我们想一下实际
上这个数据正常缓存到了3个地方
1、用户分配的内存*ptr
2、STDIO的缓存默认8192
3、内核态OS CACHE
这视乎有点臃肿,我们可以想办法简化。事实上数据库软件有时候只使用了用户态
的一份缓存,而打开O_DIRECT来提高性能。

下面一个小程序可以验证打开和关闭stdout缓冲的区别:

int main(void)
{
        int i;
//      setbuf(stdout,NULL);

        for(i=0;i<10;i++)
        {
                printf("-");
                sleep(1);
        }

        printf("\n");
}

区别就是是否使用setbuf,如果使用setbuf则 -符号会一个一个输出,不使用会一起输出
这就是STDIO缓存在作怪。

时间: 2024-09-25 14:46:27

LINUX系统编程 关于SDTIO库缓冲区的相关文章

《Linux系统编程(第2版)》——1.4 Linux编程的概念

1.4 Linux编程的概念 本节给出了Linux系统提供的服务的简要概述.所有的UNIX系统,包括Linux,提供了共同的抽象和接口集合.实际上,UNIX本身就是由这些共性定义的,比如对文件和进程的抽象.管道和socket的管理接口等等,都构成了UNIX系统的核心. 本概述假定你对Linux环境很熟悉:会使用shell的基础命令.能够编译简单的C程序.它不是关于Linux或其编程环境的,而是关于Linux系统编程的基础. 1.4.1 文件和文件系统文件是Linux系统中最基础最重要的抽象.Li

《Linux系统编程(第2版)》——第1章 入门和基本概念 1.1 系统编程

第1章 入门和基本概念 摆在你面前的是一本关于系统编程的书,你将在本书中学习到编写系统软件的相关技术和技巧.系统软件运行在系统的底层,与内核和系统核心库进行交互.常见的系统软件包括Shell.文本编辑器.编译器.调试器.核心工具(GNU Core Utilities)以及系统守护进程.此外,网络服务.Web服务和数据库也属于系统软件的范畴.这些程序都是基于内核和C库实现的,可以称为"纯"系统软件.相对地,其他软件(如高级GUI应用),很少和底层直接交互.有些程序员一直在编写系统软件,而

《Linux系统编程(第2版)》——导读

前言 这本书是关于Linux上的系统编程."系统编程"是指编写系统软件,其代码在底层运行,直接跟内核和核心系统库对话.换句话说,本书的主题是Linux系统调用和底层函数说明,如C库定义的函数. 虽然已经有很多书探讨UNIX上的系统编程,却很少有专注于探讨Linux方面的书籍,而探讨最新版本的Linux以及Linux特有的高级接口的书籍更是凤毛麟角.此外,本书还有一个优势:我为Linux贡献了很多代码,包括内核及其上面的系统软件.实际上,本书中提到的一些系统调用和系统软件就是我实现的.因

《Linux系统编程(第2版)》——1.2 API和ABI

1.2 API和ABI 程序员都希望自己实现的程序能够一直运行在其声明支持的所有系统上.他们希望能在自己的Linux版本上运行的程序也能够运行于其他Linux版本,同时还可以运行在其他支持Linux体系结构的更新(或更老)的Linux版本上. 在系统层,有两组独立的影响可移植性的定义和描述.一是应用程序编程接口(Application Programming Interface,API),二是应用程序二进制接口(Application Binary Interface,ABI),它们都是用来定义

linux系统编程之文件与I/O(六) fcntl函数与文件锁

一.fcntl函数 功能:操纵文件描述符,改变已打开的文件的属性 int fcntl(int fd, int cmd, ... /* arg */ ); cmd的取值可以如下: 复制文件描述符 F_DUPFD (long) 设置/获取文件描述符标志 F_GETFD (void) F_SETFD (long) 设置/获取文件状态标志 F_GETFL (void) F_SETFL (long) 获取/设置文件锁 F_GETLK F_SETLK,F_SETLKW 其中复制文件描述符可参见<linux系

《Linux系统编程(第2版)》——2.12 结束语

2.12 结束语 本章讨论了Linux系统编程的基础:文件I/O.在Linux这样遵循一切皆文件的操作系统中,了解如何打开.读.写和关闭文件是非常重要的.所有这些操作都是传统的UNIX方式,很多标准都涵盖它们.

《Linux系统编程(第2版)》——1.5 开始系统编程

1.5 开始系统编程 这一章着眼于Linux系统编程的基础概念并从程序员视角探索Linux系统.下一章将讨论基本的文件I/O,这当然包括读写文件,但是由于Linux把很多接口以文件形式实现,因此文件I/O的至关重要性不仅仅是对于文件而言,对于Linux系统的很多其他方面亦是如此. 了解了这些基础知识后,可以开始深入探索真正的系统编程了.我们一起动手吧.

LINUX系统编程 LINUX 虚拟内存

LINUX 虚拟内存 以32位操作系统为例子,因为64位系统虚拟地址过大为2^64,32位仅仅为2^32=4G更利于描述,但是原理东西都一样 这首先要从程序和进程之间的关系开始,我们一般写好一段C\C++代码编译后仅仅为可执行文件假设为a.out,我们 运行a.out的时候,这个才叫进程,进程是OS级别抽象的实体(PCB task_struct结构体),为程序运行进行各种检查和 系统资源分配,一个PCB包含部分信息如下: (摘至刑文鹏LINUX系统编程讲义) * 进程id.系统中每个进程有唯一的

《Linux系统编程(第2版)》——第2章 文件I/O 2.1打开文件

第2章 文件I/O 本章以及后续的3个章节将介绍文件相关的内容.UNIX系统主要是通过文件表示的,因此这些章节的探讨会涉及UNIX系统的核心.本章介绍了文件I/O的基本要素,详细阐述了最简单也是最常见的文件交互方式--系统调用.第3章基于标准C库描述标准I/O,第4章继续探讨更高级和专业的文件I/O接口.第8章以文件和目录操作为主题结束了文件相关的探讨. 在对文件进行读写操作之前,首先需要打开文件.内核会为每个进程维护一个打开文件的列表,该列表称为文件表(file table).文件表是由一些非