大数据异地迁移企业级实战案例

目标:10T的碎文件(10k-500k)数据需要局域网从一台存储迁移到另一台存储

方案:采用基于drbd软件迁移扩容方案

提示:主节点10T,备节点20T,如果采用drbd同步方案,同步后备用节点和主节点一样大小。备节点的剩余10T看不到也无法使用。

问题:

主节点,备节点是2.0G,备节点是2.0G(实际应该是3G,通过df -h命令只能看到2G)

 
[root@nfs-server-01 teddylu]# df -h|grep md0
 
/dev/drbd0      2.0G  3.0M  1.9G   1% /md0
 
[root@nfs-server-02 teddylu]# df -h|grep md0
/dev/md0        2.0G  3.0M  1.9G   1% /md0
 
[root@nfs-server-02 teddylu]# fdisk -l|grep /dev/md0
 
Disk /dev/md0: 3205 MB, 3205496832 bytes
 
原因:

因为drbd是基于block的复制,所以备节点上的的size会和主节点一模一样。

解决:
 
  
[root@nfs-server-02 teddylu]# umount /md0/
 
[root@nfs-server-02 teddylu]# drbdadm down data
  
[root@nfs-server-02 teddylu]# e2fsck -f /dev/md0      
 
e2fsck 1.41.12 (17-May-2010)
 
Pass 1: Checking inodes, blocks, and sizes
 
Pass 2: Checking directory structure
 
Pass 3: Checking directory connectivity
 
Pass 4: Checking reference counts
 
Pass 5: Checking group summary information
 
/dev/md0: 21/130560 files (0.0% non-contiguous), 17164/521472 blocks
 
[root@nfs-server-02 teddylu]# resize2fs /dev/md0
 
resize2fs 1.41.12 (17-May-2010)
 
Resizing the filesystem on /dev/md0 to 782592 (4k) blocks.
 
The filesystem on /dev/md0 is now 782592 blocks long.
 
[root@nfs-server-02 teddylu]# mount /dev/md0 /md0/
 
[root@nfs-server-02 teddylu]# df -h
 
Filesystem      Size  Used Avail Use% Mounted on
 
/dev/sda2       7.8G  3.5G  3.9G  48% /
 
tmpfs           242M     0  242M   0% /dev/shm
 
/dev/sda1       190M   49M  132M  28% /boot
 
/dev/md0        3.0G  3.0M  2.8G   1% /md0
 

此时,备节点的size是显示为正常的3G了

提示

e2fsck – check a Linux ext2/ext3/ext4 file system

-f     Force checking even if the file system seems clean.

resize2fs – ext2/ext3/ext4 file system resizer

  The  resize2fs  program  will  resize ext2, ext3, or ext4 file systems.  It can be used to enlarge or shrink an unmounted file system located on device。

时间: 2024-11-05 18:49:40

大数据异地迁移企业级实战案例的相关文章

《大数据存储:MongoDB实战指南》一1.1 什么是大数据

1.1 什么是大数据 大数据存储:MongoDB实战指南对于各种规模大小的组织机构而言,由于数据爆炸式的增长,传统的数据处理技术变得越来越难适应,需要有变革的技术来存储.分析这些大数据.谁能够掌握这些存储.分析技术,谁就有可能成为未来市场的主导者.财富500强公司在这个方面已走在前列,他们认识到大数据不仅仅是一门技术,而且是未来商业的发展趋势,并且已经开始从创新的大数据业务中受益.例如,企业能够分析用户的Web点击习惯,总结出用户喜好,进而有针对性地开展促销:政府部门能够利用大数据预测疾病的传播

大数据时代:基于微软案例数据库数据挖掘知识点总结(Microsoft 关联规则分析算法)

原文:(原创)大数据时代:基于微软案例数据库数据挖掘知识点总结(Microsoft 关联规则分析算法) 前言 本篇继续我们的微软挖掘算法系列总结,前几篇我们分别介绍了:Microsoft决策树分析算法.Microsoft聚类分析算法.Microsoft Naive Bayes 算法.Microsoft 时序算法,后续还补充了二篇结果预测篇.Microsoft 时序算法--结果预算+下期彩票预测篇,看样子有必要整理一篇目录了,不同的算法应用的场景也是不同的,每篇文章都有它自己的应用场景介绍,有兴趣

《大数据存储:MongoDB实战指南》一1.9 适合哪些业务

1.9 适合哪些业务 大数据存储:MongoDB实战指南 当前各行各业都离不开数据的存储与检索需求,传统关系数据库发展了这么多年,在有些垄断性行业如电信.银行等仍然是首选,因为这些行业需要数据的高度一致性,只有支持事务的数据库才能满足它们的要求.但随着这几年互联网业务的发展,数据量越来越大,并发请求也越来越高,一个大系统中只用一种数据库并不能很好地满足全部业务的发展,同时以MongoDB为代表的NoSQL数据库快速发展,在某些方面展示了它们的优越性,逐渐被采用并取代了系统中的某些部件,总的来说以

《大数据存储:MongoDB实战指南》一1.10 小结

1.10 小结 大数据存储:MongoDB实战指南 MongoDB是一个面向文档的数据库,不支持关系数据库中的join操作和事务.它用集合的概念代替了关系数据库中的表,用最小逻辑单元文档代替关系数据库中的行.它的集合结构是动态的,没有必要像关系数据库一样插入数据前先定义表结构,而且可以随时增加.修改.删除组成文档的字段. MongoDB支持当前所有主流编程语言的客户端驱动,使用方便,应用广泛,非常适合文档管理系统的应用.移动APP应用.游戏开发.电子商务应用.分析决策系统.归档和日志系统等应用.

《大数据存储:MongoDB实战指南》一1.8 几个重要的进程介绍

1.8 几个重要的进程介绍 大数据存储:MongoDB实战指南 通过官网下载的二进制包中有几个重要的可执行文件,这些可执行文件运行后都会对应一个相应的进程. 1.8.1 mongod进程 Mongod.exe为启动此数据库实例进程对应的可执行文件,是整个MongoDB中最核心的内容,负责数据库的创建.删除等各项管理工作,运行在服务器端为客户端提供监听,相当于MySQL数据库中的mysqld进程. 启动数据库实例会用到以下命令. mongod --config E:\MongoDB-win32-i

《大数据存储:MongoDB实战指南》一1.6 MongoDB特点

1.6 MongoDB特点 大数据存储:MongoDB实战指南 它的存储模型与关系数据库的比较如表1-1所示. 关系数据库中最基本的单元是行,而MongoDB中最基本存储单元是document,典型结构如下所示. { "_id" : ObjectId("51e0c391820fdb628ad4635a"), "author" : { "name" : "Jordan","email" :

《大数据存储:MongoDB实战指南》一1.3 大数据与云计算

1.3 大数据与云计算 大数据存储:MongoDB实战指南从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分.大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构.它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理,也就说大数据就像做饭用的一堆原材料,云计算就像做饭用的工具.云计算解决了大数据的运算工具问题,而对大数据的存储我们需要相应的云存储工具.云存储是在云计算概念上延伸和发展出来的一个新的概念,是指通过集群应用或分布式文件系统等功能,将网络中大量的存储设备通

《大数据存储:MongoDB实战指南》一1.7 安装MongoDB

1.7 安装MongoDB 大数据存储:MongoDB实战指南MongoDB官方已经提供了Linux.Windows.Mac OS X以及Solaris 4种平台的二进制分发包,最新的稳定版本是2.6.3,下载地址是:http://www.mongodb.org/downloads ,如图1-2所示. 下载完成后,解压,我们就能直接运行里面的二进制文件,这里所讨论的安装MongoDB,一般指的是运行MongoDB服务器端的进程mongod. 解压后,在bin目录下,我们可以看到一个名为mongo

《大数据存储:MongoDB实战指南》一1.5 大数据与MongoDB

1.5 大数据与MongoDB 大数据存储:MongoDB实战指南大数据意味着新的机会,企业能够创造新的商业价值.MongoDB这样的数据库可以支撑很多大数据系统,它不仅可以作为一个实时的可操作的大数据存储系统,也能在离线大数据分析系统中使用.利用MongoDB作为大数据的云存储系统,企业能够在全世界范围内存储更多的数据,吸引更多的用户,挖掘更多用户的喜好,创造更多的价值. 选择正确的大数据存储技术,对使用者的应用和目标是非常重要的.MongoDB公司提供的产品和服务能让使用者担更少的风险.花更