Linux虚拟内存管理基础v2.ppt
Linux虚拟内存管理 基础篇,2,主要内容,虚拟内存管理的基本原理和基本过程。 CPU对虚拟内存管理的支持。(ULK Ch.2) Linux如何管理页表。(ULK Ch.2) Linux如何管理物理内存(ULK Ch.8) Linux如何管理虚拟空间的内核地址空间部分(ULK Ch.8) Linux如何管理虚拟空间的进程地址空间部分(ULK Ch.9) Linux如何在物理内存和外出之间同步数据(ULK Ch.15) Linux如何主动回收物理内存(ULK Ch.17) 注：无法全部讲 骚瑞,3,从宏观角度.,Linux的虚拟内存管理机制为应用程序和驱动 程序提供了两种服务： 使每个进程都拥有自己独立的内存地址空间；对于32位Linux而言，每个任务可寻址的内存地址空间都为0x00000000 0xFFFFFFFF(232, 4GB) 当物理内存不够4GB时，虚拟内存管理模块会用外存空间模拟内存空间，并且该模拟过程对应用程序是透明的。,4,用户地址空间与内核地址空间,Linux将每个进程的4GB的独立地址空间又划分为用户地址空间(0x00000000 0xBFFFFFFF)和 内核地址空间(0xC0000000 0xFFFFFFFF)两部分。 操作系统内核代码和数据存放在内核地址空间；每个进程自己私有的代码和数据存放在用户地址空间 虽然Linux的内核代码和数据被映射到了每个进程的地址空间中（所有进程看到的内容是相同的），但在实际的物理内存中，只有内核代码和数据的一份拷贝。,5,用户地址空间与内核地址空间,用户态与核心态,一般现代CPU都有几种不同的指令执行级别 在高执行级别下，代码可以执行特权指令，访问任意的物理地址，这种CPU执行级别就对应着内核态 用户态指相应的低级别执行状态，代码的掌控范围会受到限制，只能执行CPU指令集的一个子集 举例：intel x86 CPU有四种不同的执行级别0-3，Linux只使用了其中的0级和3级分别来表示内核态和用户态 0xc0000000以上的内核地址空间只能在内核态下访问，0x000000000xbfffffff的用户地址空间在两种状态下都可以访问 应用程序可以通过Linux系统调用由用户态进入内核态,7,逻辑地址与物理地址,逻辑地址：程序在运行过程中用来访问存储器的地址。程序员在编程时，只需知道逻辑地址，不需考虑该地址与实际物理硬件上的存储单元如何对应。编译器在编译源程序时，也只需考虑逻辑地址。 物理地址：表示物理存储器中一个存储单元的实际位置，地址总线上产生的就是物理地址。（总线地址） 在实地址模式下，逻辑地址等于物理地址。在虚拟地址模式下，逻辑地址不等于物理地址，必须经过查表才能转换为物理地址，因此也叫虚拟地址。 线性地址：2维逻辑地址变为1维地址后，叫线性地址,物理地址,查表 转换,逻辑地址,进程 1 的页表,进程 2 的页表,进程 3 的页表,内页表,外页表,CPU负责查表(虚拟地址-物理地址)，查表失败时触发缺页异常(14号)； OS负责填充各个表的内容，并提供缺页中断的中断服务器程序。,9,X86处理器对VM的支持,MMU单元：(1)自动查表，将当期指令中的逻辑地址转化为物理地址; (2)触发缺页异常。 32bitCPU支持2级页表：页目录表，页表。10+10+12 64bitCPU支持4级页表：9+9+9+9+12 专用寄存器CR3中存放了当前有效的页目录表的物理地址。 专用寄存器CR2用于存放触发缺页异常的线性地址。 转换旁视缓冲区TLB：将常用的逻辑/物理转换关系缓存到CPU。当页表被修改，或有效页表切换时需调用专用指令刷新TLB。 flush_tlb_all, flush_tlb_mm, flush_tlb_range, flush_tlb_page,10,32bit Intel x86的页表,在32位CPU上，地址空间为232，一个内存页大小为212，则共有220个页，页编号范围0220-1，因此页表中的一行至少要用3个字节（存储页编号是必须的），但实际上页表中一行占4个字节。 80386CPU中一个页表项的定义如下：,Present标志、Accessed标志、Dirty标志、Read/Write标志、User/Supervisor标志、 如果present标志为0，分页单元就把这个线性地址存放在处理器的CR2寄存器中，并产生一个14号缺页异常,11,页表项或页目录项中的标志,Present标志：所指内容是否存在 Accessded标志：所指内容被访问之后自动置1 Dirty标志：所指内容被修改后自动置1 Read/Write标志：所指内容的读写权限 User/Supervisor标志：所指内容的访问特权要求 PCD/PWT：是否运行被缓存至Cache PageSize：页大小：4K，4M，2M Global标志：防止页从TLB中刷新出去,12,两级页表,为了节省内存，32位CPU采用了两级页表 第一级为页目录，每个表项存储了第二级页表的物理地址。 第二级页表的每个表项存储了一个虚拟页所对应物理页的物理地址。 32位的虚拟地址被分成3个域 目录(directory) 最高的10位 页表(Table) 中间的10位 页内偏移量(offset) 最低的12位 程序中每产生一个32位的虚拟地址，CPU的MMU首先用最高的10位查页目录获得第二级页表的物理地址，再用中间10位查第二级页表获得物理页的起始地址，最后用该起始地址加上偏移量offset（ 最低的12位 ）就得到了最终的物理地址。 两次查表过程有可能会触发2次缺页中断。,2019/7/4,Linux OS Analysis,13/54,Intel 80x86处理器的分页,线性地址,CR3,页目录,页表,页,2019/7/4,Linux OS Analysis,14/54,分页举例,假设进程需要读取0x20021406中的字节。 分页单元将该地址划分为3个部分： 0x20021406=0010 0000 0000 0010 0001 0100 0000 0110b,页目录索引 （0x80=128）,页表索引 （0x21）,页内偏移 （0x406）,CR3,+,p1的页目录,p1的页表,+,Present=0,缺页异常,Xxx xxx Xx xxx Xx xx,xxxx,15,关于虚拟内存的思考一,如何将同一块物理内存同时映射到多个进程的地址空间中？（共享内存是一种高效的进程间通信机制） 如何将同一块物理内存同时映射到同一个进程地址空间的多个位置上？ 。 多个进程 同时装载同一个动态链接库时，该动态库在每个进程地址空间中的装载位置相同吗？ 如何做到将Linux内核代码和数据映射到每个进程的地址空间，并且随着进程切换只是改变用户地址空间的内容而内核地址空间内容保持不变？ 已知工作在用户态的应用程序不能访问内核空间的内存，那么如果一个应用程序申请了一块内存，如果将指向该内存的指针p传递给了一个内核态程序（例如某中断服务程序），那么内核态程序能通过指针p访问该内存吗？,16,关于虚拟内存的思考二,如果一个物理页中存储了某个进程的代码段，当该物理页因为内存紧张需要被重新分配给另外的进程时，需不需要将该物理页中的内容回写到磁盘交互文件中？ 如何将一个硬盘文件映射到一个进程地址空间的指定位置上？（内存映射函数mmap） 对应ARM等不区分I/O地址空间和内存地址空间的CPU，如果已经知道了某外设寄存器的物理地址（通过该寄存器地址译码电路获得），如何在Linux C程序中访问该寄存器？ void *ioremap(unsigned long phys_addr, unsigned long size)用于在页表中增加一个物理地址到虚拟地址映射。 如何设置内存区域为“只读”存储区？ 如何以当前进程为模板快速克隆出另外一个新的进程？ （fork函数与Copy On Write技术） 如何实现物理内存的“延迟分配”？,17,IPC机制：共享内存,int shmget(key_t key, size_t size, int flag); 功能：得到一个共享内存标识符或创建一个共享内存对象并返回共享内存标识符 key: 共享内存对象的全局标识，大于0的32位整数。通常要求此值来源于ftok返回的IPC键值。如果该内存被映射到同一进程地址空间，则令key取值为IPC_PRIVATE。 size:共享内存区的字节数 flag:读写的权限 返回值：成功返回共享存储的id，失败返回-1,18,IPC机制：共享内存,void *shmat(int shmid, const void *addr, int flag); 功能：连接共享内存标识符为shmid的共享内存，连接成功后把共享内存区对象映射到调用进程的地址空间，随后可像本地空间一样访问 shmid：共享存储的id addr：一般为0，表示连接到由内核选择的第一个可用地址上，否则，如果flag没有指定SHM_RND，则连接到addr所指定的地址上，如果flag为SHM_RND，则地址取整 flag：SHM_RDONLY：为只读模式，其他为读写模式 返回值：如果成功，返回共享存储段地址，出错返回-1 int shmdt(void *addr); addr:共享存储段的地址，以前调用shmat时的返回值 返回值,19,IPC机制：共享内存,int shmdt(void *addr); 功能：与shmat函数相反，是用来断开与共享内存附加点的地址，禁止本进程访问此片共享内存 addr:共享存储段的地址，以前调用shmat时的返回值 返回值：成功：0；出错：-1,20,mmap内存映射,利用mmap函数可以将一个磁盘文件或者其它设备对象映射到虚拟内存空间。文件被映射到多个页上，所有页的大小之和大于等于文件大小。,21,mmap内存映射,void * mmap(void *start, size_t length, int prot , int flags, int fd, off_t offset) start：要映射到的虚拟内存区域的起始地址，通常都是用NULL，NULL表示由内核来指定该内存地址 length：要映射的内存区域的大小 prot：期望的内存保护标志，是以下的某个值，可以通过or运算符组合到一起 1. PROT_EXEC 可执行；2. PROT_READ可读；3. PROT_WRITE可执 flags：指定映射对象的类型，映射选项和映射页是否可以共享。 MAP_SHARED /MAP_PRIVATE/MAP_LOCKED/ MAP_ANONYMOUS fd：文件描述符（由open函数返回） offset：表示被映射对象（即文件）从那里开始对映，通常都是用0。 该值应该为大小应为PAGE_SIZE的整数倍 返回值：成功则返回被映射虚拟内存区的指针，失败返回-1。,22,mmap内存映射,int munmap(void *start, size_t length) 取消映射关系 int msync(const void *start, size_t length, int flags) 将内存中的内容同步到文件,思考： mmap函数执行时会一次性将整个被映射文件读入内存吗？ 即用mmap函数映射一个大文件时会很耗时吗？,23,mmap的应用,快速读写大文件，简化程序逻辑。 快速读写I/O设备（如V4L库） 创建进程间共享内存（可利用/dev/zero文件） 在用户态的应用程序中直接读写物理内存（即读写指定物理地址上的内存单元）。 /dev/mem是整个物理内存的全映像文件 open(“/dev/mem“,O_RDWR|O_SYNC)，然后mmap，接着就可以用mmap的地址来访问物理内存 只有root用户才能这样做！ 如果CPU是内存与I/O统一编址方式，还可以利用上述方法访问外设的寄存器，编写用户态的设备驱动程序。 快速分配大内存（mmap配合MAP_ANONYMOUS 参数）,
