Distributed File System(簇文件系统)
我吧分布式文件系统分为三类，聚合文件系统，全局文件系统，负载均衡文件系统。除了gfs其他文件系统都是建立在本地文件系统之上的网络文件系统。
几乎所有DFS都能通过fuse mount 到本地，但有些DFS mount 后性能不佳。
3.1. 聚合文件系统
以NFS, glusterfs 为代表，其特点是server独立运行，Server与Server间没有通信，然后访问者将其聚合组织并规划目录，为client提供数据共享。
glusterfs 可以实现Mirror与Strip等更复杂的组合，但全由client完成，server之间没有交互。
+-------------------------+ +-----------------------+ | Client | /| Images Data | +-------------------------+ / +-----------------------+ | /mnt | / +-----------------------+ +--------------------+ | /mnt/images |<---- /| Include Data | | Design by neo chen | | /mnt/include |<------ +-----------------------+ +--------------------+ | /mnt/lib | ... netkiller.github.com | /mnt/data | ... +-----------------------+ | /mnt/data/backup |<-------| Backup Data | +-------------------------+ +-----------------------+
3.2. 全局文件系统
如 gfs，它可以提供server间文件系统协商，同步元数据等等。常规文件系统只能用于本地硬盘，如果两个服务器同时mount iscsi存储，会出现A服务器写入后，B服务器无法看到A刚刚写入的数据，如果两台同时写入数据，会损坏文件系统。
+--------------------------------+
| Server Load Balancing |
+--------------------------------+
|
V
--------------------- 1Gbps Ethernet ---------------------
| |
| netkiller.sf.net |
V V
+------------------------+ +-----------------------+
| Server Master | | Server Master / Slave |
+------------------------+ +-----------------------+
| /u01 | | /u01 | +--------------------+
| /u02 | | /u02 | | Design by neo chen |
| /u03 | | /u03 | +--------------------+
+------------------------+ +-----------------------+
| | | |
V V V V
--------------------- 10Gbps Ethernet ---------------------
| |
V V
+----------------------------+
| IP SAN - ISCSI target |
+----------------------------+
| LUN0 | LUN1 | LUN2 | ... |
+----------------------------+
3.3. 负载均衡文件系统
这种文件系统通常至少有三部分组成，存储节点，访问节点，管理节点。不同的系统叫法不同，但其原理相同。
存储节点,负责数据存储，数据通过hash散列
访问节点，用户通过该节点访问数据，做数据上传下载。访问方式分为点对点与三角方式
管理节点，服务数据Mirror,Strip等，元数据同步等等...
点到点系统只提供一个访问入口，如：MooseFS
+--------------------------------+
| User |
+--------------------------------+
| mount ip_address => /mnt/test |
+--------------------------------+
|
V
------------------ 1Gbps Ethernet ---------------------
| |
V V
+-------------------------+ +----------------------+
| Manager Node | | Access node |
+-------------------------+ +----------------------+
| Mirror | Strip | ... | | Index |
+-------------------------+ +----------------------+
|
V
--------------------- 1Gbps Ethernet ---------------------
| |
| netkiller.sf.net |
V V
+---------------------+ +--------------------+
| Data Node | | Date Node |
+---------------------+ +--------------------+
| 01 02 03 ... 10 | | 01 02 03 ... 10 | +--------------------+
| 0A 0B 0C ... 0F |<-- Mirror -->| 0A 0B 0C ... 0F | | Design by neo chen |
| FA FB FC ... FF | | FA FB FC ... FF | +--------------------+
+---------------------+ +--------------------+
三角链路
+--------------------------------+
| Server Load Balancing |
+--------------------------------+
|
V
------------------ 1Gbps Ethernet ----------------------------------
| | |
V V V
+-------------------------+ +-------------+ +-------------+
| Manager Node | | Access Node | | Access Node |
+-------------------------+ +-------------+ +-------------+
| Mirror | Strip | ... | | Index | | Index |
+-------------------------+ +-------------+ +-------------+
|
V
--------------------- 1Gbps Ethernet ---------------------
| |
| netkiller.sf.net |
V V
+---------------------+ +--------------------+
| Data Node | | Date Node |
+---------------------+ +--------------------+
| 01 02 03 ... 10 | | 01 02 03 ... 10 | +--------------------+
| 0A 0B 0C ... 0F |<-- Mirror -->| 0A 0B 0C ... 0F | | Design by neo chen |
| FA FB FC ... FF | | FA FB FC ... FF | +--------------------+
+---------------------+ +--------------------+
这种文件系统的特点是，当用户访问文件系统时，首先访问管理节点，管理节点会返回一个数据地址，用户再从访问节点的地址取得数据。
以MogileFS为代表
某些系统甚至直接使用反向代理或者WEB服务器作为访问节点。这种系统非常适合多媒体数据存储。通过负载均衡可能实现横向与纵向灵活扩展
时间： 2024-09-27 15:33:26