MySQL数据库服务维护及应用设计笔记

mysql|笔记|设计|数据|数据库

  以下是使用MYSQL服务的一些经验,主要从以下几个方面考虑的MYSQL服务规划设计。

  1 MYSQL服务的安装/配置的通用性;

  2 系统的升级和数据迁移方便性;

  3 备份和系统快速恢复;

  MYSQL服务器的规划

  为了以后维护,升级备份的方便和数据的安全性,最好将MYSQL程序文件和数据分别安装在“不同的硬件”上。

  /
  /usr <== 操作系统 }==> 硬盘1
  /home/mysql <== mysql应用程序
  ...
  /data/app_1/ <== 应用数据和脚本 }==> 硬盘2
  /data/app_2/
  /data/app_3/

  mysql服务的安装和服务的启动:
  MYSQL一般使用当前STABLE的版本,尽量不使用--with-charset=选项,我感觉with-charset只在按字母排序的时候才有用,这些选项会对数据的迁移带来很多麻烦。

  configure --prefix=/home/mysql
  make
  make install

  服务的启动和停止

  1 复制缺省的mysql/var/mysql到 /data/app_1/目录下

  2 MYSQLD的启动脚本:
  start_mysql.sh
  #!/bin/sh
  rundir=`dirname "$0"`
  echo "$rundir"
  /home/mysql/bin/safe_mysqld --user=mysql --pid-file="$rundir"/mysql.pid --datadir="$rundir"/var "$@"\
  -O max_connections=500 -O wait_timeout=600 -O key_buffer=32M --port=3402 --socket="$rundir"/mysql.sock &

  注释:

  --pid-file="$rundir"/mysql.pid --socket="$rundir"/mysql.sock --datadir="$rundir"/var
  目的都是将相应数据和应用临时文件放在一起;
  -O 后面一般是服务器启动全局变量优化参数,有时候需要根据具体应用调整;
  --port: 不同的应用使用PORT参数分布到不同的服务上去,一个服务可以提供的连接数一般是MYSQL服务的主要瓶颈;

  修改不同的服务到不同的端口后,在rc.local文件中加入:

  /data/app_1/start_mysql.sh
  /data/app_2/start_mysql.sh
  /data/app_3/start_mysql.sh
  注意:必须写全路径

  3 MYSQLD的停止脚本:stop_mysql.sh
  #!/bin/sh
  rundir=`dirname "$0"`
  echo "$rundir"
  /home/mysql/bin/mysqladmin -u mysql -S"$rundir"/mysql.sock shutdown

  使用这个脚本的好处在于:

  1 多个服务启动:只需要修改脚本中的--port=参数。单个目录下的数据和服务脚本都是可以独立打包的。

  2 所有服务相应文件都位于/data/app_1/目录下:比如:mysql.pid mysql.sock,当一台服务器上启动多个服务时,多个服务不会互相影响。但都放到缺省的/tmp/下则有可能被其他应用误删。

  3 当硬盘1出问题以后,直接将硬盘2放到一台装好MYSQL的服务器上就可以立刻恢复服务(如果放到my.cnf里则还需要备份相应的配置文件)。

  服务启动后/data/app_1/下相应的文件和目录分布如下:
  /data/app_1/
   start_mysql.sh 服务启动脚本
   stop_mysql.sh 服务停止脚本
   mysql.pid 服务的进程ID
   mysql.sock 服务的SOCK
   var/ 数据区
   mysql/ 用户库
   app_1_db_1/ 应用库
   app_2_db_2/
   ...
  /data/app_2/
   ...

  查看所有的应用进程ID:
  cat /data/*/mysql.pid

  查看所有数据库的错误日志:
  cat /data/*/var/*.err

  个人建议:MYSQL的主要瓶颈在PORT的连接数上,因此,将表结构优化好以后,相应单个MYSQL服务的CPU占用仍然在10%以上,就要考虑将服务拆分到多个PORT上运行了。

  服务的备份

  尽量使用MYSQL DUMP而不是直接备份数据文件,以下是一个按weekday将数据轮循备份的脚本:备份的间隔和周期可以根据备份的需求确定

  /home/mysql/bin/mysqldump -S/data/app_1/mysql.sock -umysql db_name | gzip -f>/path/to/backup/db_name.`data +%w`.dump.gz
  
  因此写在CRONTAB中一般是:
  * 6 * * * /home/mysql/bin/mysqldump -S/data/app_1/mysql.sock -umysql db_name | gzip -f>/path/to/backup/db_name.`data +\%w`.dump.gz

  注意:

  1 在crontab中'%'需要转义成'\%'

  2 根据日志统计,应用负载最低的时候一般是在早上6点

  先备份在本地然后传到远程的备份服务器上,或者直接建立一个数据库备份帐号,直接在远程的服务器上备份,远程备份只需要将以上脚本中的-S /path/to/msyql.sock改成-h IP.ADDRESS即可。

  数据的恢复和系统的升级

  日常维护和数据迁移:在数据盘没有被破坏的情况下硬盘一般是系统中寿命最低的硬件。而系统(包括操作系统和MYSQL应用)的升级和硬件升级,都会遇到数据迁移的问题。只要数据不变,先装好服务器,然后直接将数据盘(硬盘2)安装上,只需要将启动脚本重新加入到rc.local文件中,系统就算是很好的恢复了。

  灾难恢复:数据本身被破坏的情况下确定破坏的时间点,然后从备份数据中恢复。

  应用的设计要点

  1.非用数据库不可吗?
  数据库的确可以简化很多应用的结构设计,但本身也是一个系统资源消耗比较大的应用。所以很多应用如果没有很高的实时统计需求的话,完全可以先记录到文件日志中,定期的导入到数据库中做后续统计分析。如果还是需要记录2维表结构,结构足够简单的话可以使用DBM结构。即使需要使用数据库的,应用如果没有太复杂的数据完整性需求的化,完全可以不使用那些支持外键的商业数据库。

  2.数据库服务的主要瓶颈:单个服务的连接数对于一个应用来说,如果数据库表结构的设计能够按照数据库原理的范式来设计的话,并且已经使用了最新版本的MYSQL,并且按照比较优化的方式运行了,那么最后的主要瓶颈一般在于单个服务的连接数,即使一个数据库可以支持并发500个连接,最好也不要把应用用到这个地步,因为并发连接数过多数据库服务本身用于调度的线程的开销也会非常大了。所以如果应用允许的话:让一台机器多跑几个MYSQL服务分担。将服务均衡的规划到多个MYSQL服务端口上:比如app_1 ==> 3301 app_2 ==> 3302...app_9 ==> 3309。一个1G内存的机器跑上10个MYSQL是很正常的。让10个MYSQLD承担1000个并发连接效率要比让2个MYSQLD承担1000个效率高的多。当然,这样也会带来一些应用编程上的复杂度;

  3.使用单独的数据库服务器(不要和前台WEB服务抢内存),MYSQL拥有更多的内存就可能能有效的进行结果集的缓存;

  4.应用尽量使用PCONNECT和polling机制,用于节省MYSQL服务建立连接的开销;

  5.表的横向拆分:让最常被访问的10%的数据放在一个小表里,90%的历史数据放在一个归档表里,数据中间通过定期“搬家”和定期删除无效数据来节省。这样对于应用来说总是在10%数据中进行选择,比较有利于数据的缓存,不要指望MYSQL中对单表记录数在10万级以上还有比较高的效率。

  6.表的纵向拆分(过渡范化):将所有的定长字段(char, int等)放在一个表里,所有的变长字段(varchar,text,blob等)放在另外一个表里,2个表之间通过主键关联,这样,定长字段表可以得到很大的优化(甚至可以使用HEAP表类型,数据完全在内存中存取),这里也说明另外一个原则,对于我们来说,尽量使用定长字段可以通过空间的损失换取访问效率的提高。MYSQL之所以支持多种表类型,实际上是针对不同应用提供了不同的优化方式;

  7.仔细的检查应用的索引设计,甚至在服务启动中加入 --log-slow-queries[=file]用于跟踪分析应用瓶颈。

时间: 2024-12-28 11:42:36

MySQL数据库服务维护及应用设计笔记的相关文章

MYSQL服务维护及应用设计笔记

以下是使用MYSQL服务的一些经验,主要从以下几个方面考虑的MYSQL服务规划设计. 1 MYSQL服务的安装/配置的通用性:2 系统的升级和数据迁移方便性:3 备份和系统快速恢复: MYSQL服务器的规划为了以后维护,升级备份的方便和数据的安全性,最好将MYSQL程序文件和数据分别安装在"不同的硬件"上. / /usr <== 操作系统 }==> 硬盘1 /home/mysql <== mysql应用程序 ... /data/app_1/ <== 应用数据和脚

动态网页设计笔记

动态网页设计笔记    JavaScript.ASP.ASP.Net.JSP笔记   JavaScript ASP.net ASP 1.基本控件的使用6.客户端脚本的基本对象    ***41.常用的Javascript内建类的方法  ***2.让TextArea自动换行3.让TextArea支持Table键4.复制数据到剪贴板5.得到当前选中的文本7.保护自己编写的HTML和脚本的方法8.IE地址栏前换成自己的图标9.可以在收藏夹中显示出你的图标10.关闭输入法11.直接查看源代码12.在Ja

常用的MySQL操作维护命令

  常用的MySQL操作维护命令 1.更改口令: mysqladmin -u root -p password 新的口令 再输入老的口令 2.导出整个数据库: mysqldump -u 用户名 -p 数据库名 > 导出的文件名 3.导入数据库: 进入mysql数据库控制台, 如mysql -u root -p mysql>use 数据库名 mysql>source d:test.sql 4.修复数据库: a.修复单个库: mysqlcheck -r -o -u root 数据库名 -p

表设计-mysql关于数据表的设计

问题描述 mysql关于数据表的设计 我现在有一个member(用户表)里面存放了一个用户的所有信息.还有一个hobby(爱好表)里面存放所有的爱好.现在我需要给用户存放hobby表里面的爱好.我是应该直接在member表里面加一个hobby字段,然后存放爱好表里面的ID如(123),还是应该再一个表来存放用户跟爱好的关系呢?或者还有没有其它更好的可能,**注意:一个用户可以有多个爱好,而以后我只需要查询某一个爱好的人有那些.** 解决方案 这个还是要根据你的需要来定, 如果说以后都是以用户来查

mysql查询,因为字段设计有差异

问题描述 mysql查询,因为字段设计有差异 有2表,1张短信表(发送量int,时间timestamp), 1张流量表(流量数varchar,时间bigint) 求2015年每月短信总数和流量总数 解决方案 MySQL字段拼接查询 解决方案二: 做类型转化啊:: 因为你并没有说存的时间是什么时候所以我就默认为天 第一张就是 select sum(短信) from 短信表 where to_char(时间) like ''%找出当月所有时间段的共同点%//得到的是短信总和 第二张表是 select

MYSQL必知必会读书笔记第十和十一章之使用函数处理数据_Mysql

 mysql简介 MySQL是一种开放源代码的关系型数据库管理系统(RDBMS),MySQL数据库系统使用最常用的数据库管理语言--结构化查询语言(SQL)进行数据库管理. 拼接字段 存储在数据库表中的数据一般不是应用程序所需要的格式.我们需要直接从数据库中检索出转换.计算或格式化过的数据:而不是检索出数据,然后再在客户机应用程序或报告程序中重新格式化. 计算字段(字段 = 列,不过数据库列一般称为列,而字段通常用于计算字段中)并不实际存在于数据库表中,计算字段是运行时在select语句内创建的

MYSQL必知必会读书笔记第二章之版本更改_Mysql

MySQL的当前版本为版本5,以下列出最近版本的主要更改: 4.---------InnoDB引擎,增加了事务处理.并.改进全文搜索等支持. 4.1--------对函数库.子查询.集成帮助等重要增加. 5.-------------增加了存储过程.触发器.游标.视图等 以上内容是小编给大家介绍MYSQL必知必会读书笔记的相关知识,希望对大家有所帮助!

MySQL日志维护策略汇总_Mysql

这几天要折腾mysql服务器,所以在网上搜罗了一些维护策略,然后自己总结实验,下面是我的总结经验和别人的一些建议. 日志类型: MySQL有几个不同的日志文件,可以帮助你找出mysqld内部发生的事情:  日志文件:记入文件中的信息类型 错误日志:记录启动.运行或停止时出现的问题  查询日志:记录建立的客户端连接和执行的语句二进制日志:记录所有更改数据的语句.主要用于复制和即时点恢复慢日志:记录所有执行时间超过long_query_time秒的所有查询或不使用索引的查询事务日志:记录InnoDB

启动mysql 1067错误-本地启动MySQL数据库服务是,报1067错误,提示程序意外终止。

问题描述 本地启动MySQL数据库服务是,报1067错误,提示程序意外终止. 之前用着是好好的,安装SQL Server2008数据库之后,MySQL就无法启动!百度的搜索的方法(My.ini文件导致的)也试试了,但是还是无法启动! 解决方案 重装MySQL试试.