LINUX系统编程 LINUX 虚拟内存

LINUX 虚拟内存
以32位操作系统为例子,因为64位系统虚拟地址过大为2^64,32位仅仅为2^32=4G更利于描述,但是原理东西都一样

这首先要从程序和进程之间的关系开始,我们一般写好一段C\C++代码编译后仅仅为可执行文件假设为a.out,我们
运行a.out的时候,这个才叫进程,进程是OS级别抽象的实体(PCB task_struct结构体),为程序运行进行各种检查和
系统资源分配,一个PCB包含部分信息如下:
(摘至刑文鹏LINUX系统编程讲义)
* 进程id。系统中每个进程有唯一的id,在C语言中用pid_t类型表示,其实就是一个非
负整数。
* 进程的状态,有运行、挂起、停止、僵尸等状态。
* 进程切换时需要保存和恢复的一些CPU寄存器。
* 描述虚拟地址空间的信息。
* 描述控制终端的信息。
* 当前工作目录(Current Working Directory)。
* umask掩码。
* 文件描述符表,包含很多指向file结构体的指针。
* 和信号相关的信息。
* 用户id和组id。
* 控制终端、Session和进程组。
* 进程可以使用的资源上限(Resource Limit)

每个进程分配的内存包含很多称之为段的部分组成并且放到0-3G用户态虚拟地址空间中,3-4G为kernel太虚拟地址(注意我们以32位为列),
PCB就存放在我们的kernel态中。
下面描述0-3G用户态虚拟内存段
由下向上分别是
1、代码段,是程序运行的机器代码,一个程序代码可以多个程序
   同时运行,那么这个代码段可以同时存在于不同进程的不同
   虚拟内存地址中,等会用图说明
2、初始化数据段,这个就是C\C++已经初始化的全局变量和静态变量
   我们知道静态变量是存在于程序结束,而全局变量(非静态)的作用
   域也是全部代码块,那么这些变量需要放到一个非栈空间中
   (关于静态变量可以查看如下链接
  http://blog.itpub.net/7728585/viewspace-2119670/
   )
3、未初始化数据段,为初始化的全局变量和静态变量,未初始化本
   段的内容初始化为0
4、堆(heap)段,是在运行的时候动态进程分配的内存区域,比如malloc
下面以一段简单代码说明,目的仅仅在于说明上面说的:
(未分配虚拟内存地址)
5、栈(stack)段,我们知道栈是一个后进先出的数据结构,用于存储局部
   变量,实参和返回值。它由栈帧组成(stack frames),每次新的函数调用
   都会分配一个新的栈帧比如下面的getv rev都在main函数栈帧里面。
    而没有使用到局部变量t 则在add函数栈帧里面

6、argc,environ 数组信息,固定大小

点击(此处)折叠或打开

  1. #include<stdio.h>
  2. #include<stdlib.h>
  3. #include<string.h>
  4. typedef unsigned int uint;
  5. static uint step=1024;//全局初始化静态变量,初始化数据段
  6. uint iniv=1; //全局初始化非静态变量,可以使用extern访问,初始化数据段
  7. static uint zero;//全局未初始化静态变量,未初始化数据段
  8. uint add(uint inv) //值传递 栈 for add funcation stack frame
  9. {
  10.      int t; // 栈 for add funcation stack frames
  11.      return inv*step+zero; //栈 for add funcation stack frames
  12. }
  13. int main(void)
  14. {
  15.         uint getv = 10; //栈 for main funcation stack frame
  16.         uint rev; //栈 for main funcation stack frames
  17.         char* p; //栈 for main funcation stack frames
  18.         rev = add(getv);
  19.         p = calloc(6,1); //堆
  20.         strcpy(p,"test:");
  21.         printf("%s%u\n",p,rev);
  22.         return 0;
  23. }

本来很多图像自己画,但是发现比较麻烦,并且效果可能并不如原图好,所以直接
摘录.
关于进程各段组织如下(摘自UNIX/LINUX系统编程手册)

关于进程用户态和内核态的关系如下(摘自刑文鹏LINUX系统编程讲义)

为了方便管理LINUX将内存分为叫做页帧的单元(我们熟悉的4K),然后内核中就需要保存一份进程虚拟地址到实际地址的映射表,如果访问的数据不再物理内存
中就发生page fault,将磁盘中的数据复制到物理内存,建立虚拟地址到物理内存的映射关系,一个进程访问数据是通过虚拟地址进行访问,然后通过映射表对应
到实际的物理内存。
由于64位系统需要管理的内存页非常巨大在LINUX中使用三级或者四级(内核2.6.11以上使用四级)映射表,关于映射表实际实现这里没有过多讨论,因为这个属于
LINUX内核原理的东西,我也没有能力研究。
(实际是虚拟地址--》线性地址--》物理地址,但是LINUX中虚拟地址和线性地址是相同的。)

映射表直观图(摘自UNIX/LINUX系统编程手册)

四级映射表(摘自pdf内存寻址)

最后我们需要牢牢的记住的就是每个进程都有0-4G的虚拟地址空间可供分配,当然没有分配就是未使用的,进程访问的是内存虚拟地址,虚拟地址空间的数据可能并不
在实际内存中,当进程访问到虚拟地址的数据并不在内存中,那么发生page fault,将磁盘中的数据复制到物理内存,建立虚拟地址到物理内存的映射关系,如果在实际内存不足的情况下启用swap做为物理内存的补充,将部分曾经使用过的数据而当前没有使用的数据拷贝到SWAP中。而数据的过期处理一般为用户程序自己控制比如LRU链表。
(这也是为什么某些数据库比如ORACLE MYSQL,在一台64G的内存的机器上同时跑2个实例都分配64G左右内存能够起来,但是过一段时间可能报内存不足的原因)

某些观点为作者自己观点如果有误请指出
参考资料:
1、UNIX/LINUX系统编程手册
2、LINUX操作系统原理与应用
3、刑文鹏LINUX系统编程讲义
4、pdf内存寻址

时间: 2024-11-01 03:55:59

LINUX系统编程 LINUX 虚拟内存的相关文章

LINUX系统编程 LINUX地区(locale)设置

LINUX本地的locale设置使用/etc/sysconfig/i18n进行设置, 这里的i18n是术语internationalization的缩写i加上18字符 在加上n,这样更为方便,同时区一样LINUX地区系统维护在 /usr/share/locale中,该目录下每个目录都是特定地区信息 的集合,目录的约定为: language(ISO语言代码)[_territory(ISO国家代码)[.codeset(字符集)]][@modifier(如果前面都一样这个用于区分)] 一般只包含lan

《Linux系统编程(第2版)》——1.4 Linux编程的概念

1.4 Linux编程的概念 本节给出了Linux系统提供的服务的简要概述.所有的UNIX系统,包括Linux,提供了共同的抽象和接口集合.实际上,UNIX本身就是由这些共性定义的,比如对文件和进程的抽象.管道和socket的管理接口等等,都构成了UNIX系统的核心. 本概述假定你对Linux环境很熟悉:会使用shell的基础命令.能够编译简单的C程序.它不是关于Linux或其编程环境的,而是关于Linux系统编程的基础. 1.4.1 文件和文件系统文件是Linux系统中最基础最重要的抽象.Li

linux系统编程之文件与I/O(六) fcntl函数与文件锁

一.fcntl函数 功能:操纵文件描述符,改变已打开的文件的属性 int fcntl(int fd, int cmd, ... /* arg */ ); cmd的取值可以如下: 复制文件描述符 F_DUPFD (long) 设置/获取文件描述符标志 F_GETFD (void) F_SETFD (long) 设置/获取文件状态标志 F_GETFL (void) F_SETFL (long) 获取/设置文件锁 F_GETLK F_SETLK,F_SETLKW 其中复制文件描述符可参见<linux系

《Linux系统编程(第2版)》——第1章 入门和基本概念 1.1 系统编程

第1章 入门和基本概念 摆在你面前的是一本关于系统编程的书,你将在本书中学习到编写系统软件的相关技术和技巧.系统软件运行在系统的底层,与内核和系统核心库进行交互.常见的系统软件包括Shell.文本编辑器.编译器.调试器.核心工具(GNU Core Utilities)以及系统守护进程.此外,网络服务.Web服务和数据库也属于系统软件的范畴.这些程序都是基于内核和C库实现的,可以称为"纯"系统软件.相对地,其他软件(如高级GUI应用),很少和底层直接交互.有些程序员一直在编写系统软件,而

《Linux系统编程(第2版)》——导读

前言 这本书是关于Linux上的系统编程."系统编程"是指编写系统软件,其代码在底层运行,直接跟内核和核心系统库对话.换句话说,本书的主题是Linux系统调用和底层函数说明,如C库定义的函数. 虽然已经有很多书探讨UNIX上的系统编程,却很少有专注于探讨Linux方面的书籍,而探讨最新版本的Linux以及Linux特有的高级接口的书籍更是凤毛麟角.此外,本书还有一个优势:我为Linux贡献了很多代码,包括内核及其上面的系统软件.实际上,本书中提到的一些系统调用和系统软件就是我实现的.因

《Linux系统编程(第2版)》——2.12 结束语

2.12 结束语 本章讨论了Linux系统编程的基础:文件I/O.在Linux这样遵循一切皆文件的操作系统中,了解如何打开.读.写和关闭文件是非常重要的.所有这些操作都是传统的UNIX方式,很多标准都涵盖它们.

《Linux系统编程(第2版)》——1.2 API和ABI

1.2 API和ABI 程序员都希望自己实现的程序能够一直运行在其声明支持的所有系统上.他们希望能在自己的Linux版本上运行的程序也能够运行于其他Linux版本,同时还可以运行在其他支持Linux体系结构的更新(或更老)的Linux版本上. 在系统层,有两组独立的影响可移植性的定义和描述.一是应用程序编程接口(Application Programming Interface,API),二是应用程序二进制接口(Application Binary Interface,ABI),它们都是用来定义

《Linux系统编程(第2版)》——1.5 开始系统编程

1.5 开始系统编程 这一章着眼于Linux系统编程的基础概念并从程序员视角探索Linux系统.下一章将讨论基本的文件I/O,这当然包括读写文件,但是由于Linux把很多接口以文件形式实现,因此文件I/O的至关重要性不仅仅是对于文件而言,对于Linux系统的很多其他方面亦是如此. 了解了这些基础知识后,可以开始深入探索真正的系统编程了.我们一起动手吧.

linux系统编程基础(一) 计算机体系结构一点基础知识

无论是在CPU外部接总线的设备还是在CPU内部接总线的设备都有各自的地址范围,都可以像访问内存一样访问,很多体系结构(比如ARM)采用这种方式操作设备,称为内存映射I/O(Memory-mappedI/O).但是x86比较特殊,x86对于设备有独立的端口地址空间,CPU核需要引出额外的地址线来连接片内设备(和访问内存所用的地址线不同),访问设备寄存器时用特殊的in/out指令(汇编),而不是和访问内存用同样的指令,这种方式称为端口I/O(PortI/O). 在x86平台上,硬盘是挂在IDE.SA