mysql性能优化学习笔记

mysql性能优化

硬件对数据库的影响

CPU资源和可用内存大小

  • 服务器硬件对mysql性能的影响
  • 我们的应用是CPU密集型?
  • 我们的应用的并发量如何?

数量比频率更好
64位使用32位的服务器版本
32位不能使用超过4G的内容,因此选择的时候需要注意。
myisam
innodb

磁盘的配置和选择

  • 机械硬盘:
    存储容量
    传输速度
    访问时间
    主轴转速
    物理尺寸
  • 使用RAID增加传统机器硬盘的性能
    RAID:一系列小磁盘组成大磁盘,数据冗余
    RAID 0 :成本最低,但是没有数据冗余会造成数据丢失。
    RAID 1 :磁盘镜像,一个磁盘的数据镜像到另外一个磁盘。数据冗余性好,读性能好。
    RAID 5 :分布式奇偶校验磁盘阵列。如果单一一块磁盘损坏可以通过其余磁盘值进行恢复,如果同时两块损坏则无法恢复。写比较慢。读比较快。
    RAID 10 :是数据库最好的选择。又称为分片镜像。
  • 使用固态存储SSD或PCIe卡
    相比传统机械硬盘有更好的随机读写性能
    有更好的并发支持
    但固态磁盘更容易损坏

    适用于大量随机IO的情况
    使用解决单线程IO负载的IO瓶颈
    如果只有一个ssd硬盘,应该使用在从服务器上确保数据的安全。

  • 使用网络存储SAN和NAS
    SAN设备通过光纤连接到服务器上,设备通过块接口访问。服务器可以当作硬盘使用。

    可以使用大量的顺序读写
    随机访问和随机写比较慢

    NAS是通过网络访问协议进行访问,有网络访问的延迟。

    使用场景:
    不适用于数据库存储
    适用于数据库备份

** CPU **
> * 64位的CPU运行64位的系统
> * 高并发的场景,cpu数量比频率重要
> * CPU密集型的场景和复杂sql则频率越高越好

** 内存 **

  • 采用主板能使用的最高频率的内存
  • 内存尽可能大

** I/O **

  • PCIe > SSD > Raid > 机械硬盘 > 网络存储(SAN)

操作系统对性能的影响-MySQL适合的操作系统

选择服务器版本,而不是桌面版本。

CentOS系统参数优化

内核相关参数(/etc/sysctl.conf)

  • 网络性能设置

    端口监听队列:net.core.somaxconn=65535
    接受数据的速率:net.core.netdev_max_backlog=65535
    未获得连接的请求和保存在内存中的数量,超过时会被丢弃:net.ipv4.tcp_max_sync_backlog=65535

  • 上述三个应该同时调大
tcp连接处理等待时间:net.ipv4.tcp_fin_timeout=10
net.ipv4.tcp_tw_reuse=1
net.ipv4.tcp_tw_recycle=1
  • 上述三个主要加快网络连接的回收。
net.core.wmem_default=87380
net.core.wmem_max=16777216
net.core.rmem_default=87380
net.core.rmem_max=16777216
  • 缓冲区接受和发送数据大小的最大值和默认值
探测的时间间隔(s): net.ipv4.tcp_keepalive_time=120
消息重发时的时间间隔(s): net.ipv4.tcp_keepalive_intvl=30
tcp连接超时前最多发送几次: net.ipv4.tcp_keepalive_probes=3
  • 内存
    kernel.shmmax = 4292967295
  • 这个参数应该设置得足够大,以便于在一个共享内存段中容纳下整个Innodb缓冲池的大小
  • 这个值的大小对于64位linux系统,可以取内存最大值-1byte,建议大于物理内存的一半。一般大于Innodb缓冲池的大小即可。
vm.swappiness = 0 :当内存不足时会对系统性能产生比较大的影响。

Linux系统内存交换区(swap):

vm.swapppiness = 0

    当系统内存不足时会将一些虚拟内存写入磁盘交换区(swap)中。

    由于使用swap会对mysql性能产生灾难性的影响。因此对mysql服务器是否使用swap分区存在一些争议。

    如果禁用swap分区也会带来一些影响:
  • 降低操作系统的性能
  • 容易造成内存溢出、崩溃或者被操作系统kill掉
    就上述影响而言,保留swap分区还是必要。

vm.swapppiness是告诉操作系统,除非内存完全满了,否则不使用swap。

增加系统资源限制(/etc/security/limit.conf)

打开文件数量的限制,加到/etc/security/limit.conf末尾即可:
    * soft nofile 65535
    * hard nofile 65535
  • *表示对所有用户有效
  • soft表示当前系统生效的配置
  • hard表示系统中能设置的最大值
  • nofile表示所限制的资源是打开文件的最大数量
  • 65535限制的数量

磁盘调度策略(/sys/block/devname/queue/scheduler)

cat /sys/block/devname/queue/scheduler
noop anticipatory deadline [cfq]   # 完全公平队列,一般用于桌面系统

noop:电梯式调度,饿死读满足写
deadline:截至时间策略,`数据库类型最好的选择`
anticipatory:和deadline一样,只是最后一次读操作后要等待6毫秒。合并多次写为一次写,适合于文件服务器,对数据库服务器表现很差。

将磁盘调度策略改为deadline
echo deadline > /sys/block/devname/queue/scheduler

文件系统对性能的影响

ext3、ext4、xfs(性能更高),上诉都具备日志功能,对数据安全性较好。

ext3、ext4系统挂载参数(/etcc/fstab)
  • data=writeback(Innodb最好的选择)|ordered|journal
  • noatime,访问时间
  • nodiratime,目录访问时间
/dev/sda1/ext4 noatime,nodiratime,data=writeback 1 1
时间: 2024-09-20 06:25:13

mysql性能优化学习笔记的相关文章

mysql性能优化学习笔记-参数介绍及优化建议

MySQL服务器参数介绍 mysql参数介绍(客户端中执行),尽量只修改session级别的参数. 全局参数(新连接的session才会生效,原有已经连接的session不生效) set global 参数名=参数值; set @@global.参数名 :=参数值; 会话参数 set [session] 参数名=参数值; set @@session.参数名 :=参数值; 内存配置相关参数 确定可以使用的内存的上限 确定mysql每个连接使用的内存 sort_buffer_size:需要注意,每个

mysql性能优化学习笔记-存储引擎

mysql体系架构 客户端(java.php.python等) mysql服务层(连接管理器.查询解析器.查询优化器.查询缓存) mysql存储引擎(innodb.myisam等) 存储引擎针对表而言的,不针对库 mysql存储引擎 mysql存储引擎之MyISAM 5.5前默认的存储引擎.临时表(查询.排序时由查询优化器生成的表).系统表 特性: 并发性与锁级别(表级锁), 表损坏修复,检查check table tablename,修复repair table tablename 此外也可以

kvm虚拟化学习笔记(二十一)之KVM性能优化学习笔记

原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://koumm.blog.51cto.com/703525/1606422 本学习笔记系列都是采用CentOS6.x操作系统,KVM虚拟机的管理也是采用virsh方式,网上的很多的文章都基于ubuntu高版本内核下,KVM的一些新的特性支持更好,本文只是记录了CentOS6.x系列操作系统下KVM优化的点,有很多都是默认支持开启了的,除了采用virtio方式的磁盘IO,与网络IO接口

Oracle性能优化学习笔记之选择最有效率的表名顺序

        选择最有效率的表名顺序(只在基于规则的优化器中有效)         ORACLE的解析器按照从右到左的顺序处理FROM子句中的表名,因此FROM子句中写在最后的表(基础表 driving table)将被最先处理. 在FROM子句中包含多个表的情况下,你必须选择记录条数最少的表作为基础表.当ORACLE处理多个表时, 会运用排序及合并的方式连接它们.首先,扫描第一个表(FROM子句中最后的那个表)并对记录进行派序,然后扫描第二个表(FROM子句中最后第二个表),最后将所有从第二

Oracle性能优化学习笔记之共享Sql语句

       为了不重复解析相同的SQL语句,在第一次解析之后,Oracle将SQL语句存放在内存中.这块位于系统全局区域SGA(systemglobal area)的共享池(shared buffer pool中的内存可以被所有的数据库用户共享.因此,当你执行一个SQL语句(有时被称为一个游标)时,如果它和之前执行过的语句完全相同,Oracle就能很快获得已经被解析的语句以及最好的执行方案.Oracle的这个功能大大地提高了SQL的执行性能并节省了内存的使用.        可惜的是ORACL

Oracle性能优化学习笔记之WHERE子句中的连接顺序

        ORACLE采用自下而上的顺序解析WHERE子句,根据这个原理,表之间的连接必须写在其他WHERE条件之前, 那些可以过滤掉最大数量记录的条件必须写在WHERE子句的末尾.         例如:        (低效,执行时间156.3秒) SELECT - FROM EMP E WHERE SAL > 50000 AND JOB = 'MANAGER' AND 25 < (SELECT COUNT(*) FROM EMP WHERE MGR=E.EMPNO);      

详解MySQL性能优化(一)_Mysql

一.MySQL的主要适用场景1.Web网站系统 2.日志记录系统 3.数据仓库系统 4.嵌入式系统 二.MySQL架构图:   三.MySQL存储引擎概述 1)MyISAM存储引擎 MyISAM存储引擎的表在数据库中,每一个表都被存放为三个以表名命名的物理文件.首先肯定会有任何存储引擎都不可缺少的存放表结构定义信息的.frm文件,另外还有.MYD和.MYI文件,分别存放了表的数据(.MYD)和索引数据(.MYI).每个表都有且仅有这样三个文件做为MyISAM存储类型的表的存储,也就是说不管这个表

19个MySQL性能优化要点解析_Mysql

以下就是跟大家分享的19个MySQL性能优化主要要点,一起学习学习. 1.为查询优化你的查询 大多数的MySQL服务器都开启了查询缓存.这是提高性最有效的方法之一,而且这是被MySQL的数据库引擎处理的.当有很多相同的查询被执行了多次的时候,这些查询结果会被放到一个缓存中,这样,后续的相同的查询就不用操作表而直接访问缓存结果了. 这里最主要的问题是,对于程序员来说,这个事情是很容易被忽略的.因为,我们某些查询语句会让MySQL不使用缓存.请看下面的示例: // 查询缓存不开启 $r = mysq

MySQL性能优化的最佳20+条经验_Mysql

今天,数据库的操作越来越成为整个应用的性能瓶颈了,这点对于Web应用尤其明显.关于数据库的性能,这并不只是DBA才需要担心的事,而这更是我们程序员需要去关注的事情.当我们去设计数据库表结构,对操作数据库时(尤其是查表时的SQL语句),我们都需要注意数据操作的性能.这里,我们不会讲过多的SQL语句的优化,而只是针对MySQL这一Web应用最多的数据库.希望下面的这些优化技巧对你有用. 1. 为查询缓存优化你的查询 大多数的MySQL服务器都开启了查询缓存.这是提高性最有效的方法之一,而且这是被My