性能测试:自建数据库与RDS性能对比SQL Server案例排查分析

近期经常遇到用户将自建数据库与RDS进行对比,简单的对比结果是自建库比RDS实例查询快。我们这里来看看一个实例,有一家物流公司,刚开始使用RDS SQL Server数据库,发现通过ECS访问RDS实例,执行语句需要60s左右,但是访问ECS本地自建库只需要2-3s。那么RDS是否是真的不如自建数据库呢? 接下来,我们来探讨对比自建库和RDS的正确姿势,如何公平地对比自建库和RDS的性能。

对比自建库和RDS的语句执行性能,下面这些因素必须都考虑到:

1. 可用区和网络链路。

可用区、网络链路的分析参考性能测试:自建数据库对比RDS中应当注意的地方即可,这篇文章做了深刻的分析。如果需要验证网络因素,可以在RDS中开启profiler, 并且同时在客户端抓取网络包,对比RDS中执行结束的时间以及网络包中返回结果的时间, 时间差异较大,说明网络传输有延迟。

针对RDS SQL Server 2012实例,可以开启SQL Server Profiler, 抓取RPC:Completed, SQL:StmtStarting, SQL:StmtCompleted, SQL:BatchStarting和SQL:BatchCompleted这几个事件。 

针对RDS SQL Server 2008 R2实例,暂不支持开启SQL Server Profiler, 可以通过下面语句查询近期执行的语句,及其start_time和total_elapased_time 。total_elapased_time指请求到达SQL Server后执行该语句总共消耗的时间(单位ms)。

2. 实例参数配置。

MySQL实例需要关注的参数比较多,详细的分析和描述参考性能测试:自建数据库对比RDS中应当注意的地方;
SQL Server实例需要关注的参数主要有fill factor (%),max degree of parallelism和max server memory (MB)。
Fill Factor(%):
这是一个用于调优数据存储和性能的server_side参数,当创建或者重建索引时,该值可以确定每个叶级页上要填充数据的空间百分比,以保留一些剩余空间作为以后扩展索引的可用空间。
Max Degree of Parallism(MaxDOP):
限制并行计划执行时所用的处理器数量,即限制语句的并行度。
Max Server Memory(MB):
设置buffer pool获取的内存的上限。

3. 资源等待或者阻塞情况

两个环境中,语句执行过程中,需要对比,是否有等待和阻塞情况发生。
查看等待情况:

WITH [Waits] AS
    (SELECT
        [wait_type],
        [wait_time_ms] / 1000.0 AS [WaitS],
        ([wait_time_ms] - [signal_wait_time_ms]) / 1000.0 AS [ResourceS],
        [signal_wait_time_ms] / 1000.0 AS [SignalS],
        [waiting_tasks_count] AS [WaitCount],
       100.0 * [wait_time_ms] / SUM ([wait_time_ms]) OVER() AS [Percentage],
        ROW_NUMBER() OVER(ORDER BY [wait_time_ms] DESC) AS [RowNum]
    FROM sys.dm_os_wait_stats
    WHERE [wait_type] NOT IN (
        N'BROKER_EVENTHANDLER', N'BROKER_RECEIVE_WAITFOR',
        N'BROKER_TASK_STOP', N'BROKER_TO_FLUSH',
        N'BROKER_TRANSMITTER', N'CHECKPOINT_QUEUE',
        N'CHKPT', N'CLR_AUTO_EVENT',
        N'CLR_MANUAL_EVENT', N'CLR_SEMAPHORE',
  -- Maybe uncomment these four if you have mirroring issues
        N'DBMIRROR_DBM_EVENT', N'DBMIRROR_EVENTS_QUEUE',
        N'DBMIRROR_WORKER_QUEUE', N'DBMIRRORING_CMD',

        N'DIRTY_PAGE_POLL', N'DISPATCHER_QUEUE_SEMAPHORE',
        N'EXECSYNC', N'FSAGENT',
        N'FT_IFTS_SCHEDULER_IDLE_WAIT', N'FT_IFTSHC_MUTEX',

        -- Maybe uncomment these six if you have AG issues
        N'HADR_CLUSAPI_CALL', N'HADR_FILESTREAM_IOMGR_IOCOMPLETION',
        N'HADR_LOGCAPTURE_WAIT', N'HADR_NOTIFICATION_DEQUEUE',
        N'HADR_TIMER_TASK', N'HADR_WORK_QUEUE',

  N'KSOURCE_WAKEUP', N'LAZYWRITER_SLEEP',
        N'LOGMGR_QUEUE', N'MEMORY_ALLOCATION_EXT',
        N'ONDEMAND_TASK_QUEUE',
        N'PREEMPTIVE_XE_GETTARGETSTATE',
        N'PWAIT_ALL_COMPONENTS_INITIALIZED',
        N'PWAIT_DIRECTLOGCONSUMER_GETNEXT',
        N'QDS_PERSIST_TASK_MAIN_LOOP_SLEEP', N'QDS_ASYNC_QUEUE',
        N'QDS_CLEANUP_STALE_QUERIES_TASK_MAIN_LOOP_SLEEP',
        N'QDS_SHUTDOWN_QUEUE', N'REDO_THREAD_PENDING_WORK',
        N'REQUEST_FOR_DEADLOCK_SEARCH', N'RESOURCE_QUEUE',
        N'SERVER_IDLE_CHECK', N'SLEEP_BPOOL_FLUSH',
        N'SLEEP_DBSTARTUP', N'SLEEP_DCOMSTARTUP',
        N'SLEEP_MASTERDBREADY', N'SLEEP_MASTERMDREADY',
        N'SLEEP_MASTERUPGRADED', N'SLEEP_MSDBSTARTUP',
        N'SLEEP_SYSTEMTASK', N'SLEEP_TASK',
        N'SLEEP_TEMPDBSTARTUP', N'SNI_HTTP_ACCEPT',
        N'SP_SERVER_DIAGNOSTICS_SLEEP', N'SQLTRACE_BUFFER_FLUSH',
        N'SQLTRACE_INCREMENTAL_FLUSH_SLEEP',
  N'SQLTRACE_WAIT_ENTRIES', N'WAIT_FOR_RESULTS',
        N'WAITFOR', N'WAITFOR_TASKSHUTDOWN',
        N'WAIT_XTP_RECOVERY',
        N'WAIT_XTP_HOST_WAIT', N'WAIT_XTP_OFFLINE_CKPT_NEW_LOG',
        N'WAIT_XTP_CKPT_CLOSE', N'XE_DISPATCHER_JOIN',
        N'XE_DISPATCHER_WAIT', N'XE_TIMER_EVENT')
    AND [waiting_tasks_count] > 0
    )
SELECT
   MAX ([W1].[wait_type]) AS [WaitType],
    CAST (MAX ([W1].[WaitS]) AS DECIMAL (16,2)) AS [Wait_S],
    CAST (MAX ([W1].[ResourceS]) AS DECIMAL (16,2)) AS [Resource_S],
    CAST (MAX ([W1].[SignalS]) AS DECIMAL (16,2)) AS [Signal_S],
    MAX ([W1].[WaitCount]) AS [WaitCount],
    CAST (MAX ([W1].[Percentage]) AS DECIMAL (5,2)) AS [Percentage],
    CAST ((MAX ([W1].[WaitS]) / MAX ([W1].[WaitCount])) AS DECIMAL (16,4)) AS [AvgWait_S],
    CAST ((MAX ([W1].[ResourceS]) / MAX ([W1].[WaitCount])) AS DECIMAL (16,4)) AS [AvgRes_S],
    CAST ((MAX ([W1].[SignalS]) / MAX ([W1].[WaitCount])) AS DECIMAL (16,4)) AS [AvgSig_S],
    CAST ('https://www.sqlskills.com/help/waits/' + MAX ([W1].[wait_type]) as XML) AS [Help/Info URL]
FROM [Waits] AS [W1]

INNER JOIN [Waits] AS [W2]
    ON [W2].[RowNum] <= [W1].[RowNum]
GROUP BY [W1].[RowNum]
HAVING SUM ([W2].[Percentage]) - MAX( [W1].[Percentage] ) < 95; -- percentage threshold
GO

 查看阻塞情况,参考RDS for SQL Server 阻塞问题处理方法。

4. 两个环境中索引碎片率和统计信息是否一致。

检查索引碎片率语句如下:

SELECT dbschemas.[name] as 'Schema',
dbtables.[name] as 'Table',
dbindexes.[name] as 'Index',
indexstats.avg_fragmentation_in_percent,
indexstats.page_count
FROM sys.dm_db_index_physical_stats (DB_ID(), NULL, NULL, NULL, NULL) AS indexstats
INNER JOIN sys.tables dbtables on dbtables.[object_id] = indexstats.[object_id]
INNER JOIN sys.schemas dbschemas on dbtables.[schema_id] = dbschemas.[schema_id]
INNER JOIN sys.indexes AS dbindexes ON dbindexes.[object_id] = indexstats.[object_id]
AND indexstats.index_id = dbindexes.index_id
WHERE indexstats.database_id = DB_ID()
ORDER BY indexstats.avg_fragmentation_in_percent desc

索引碎片率大,影响查询的速度。如果索引碎片率在5%-30#之间,推荐重组索引;如果碎片率大于30%,推荐重建索引。

检查统计信息语句如下:

SELECT t.name TableName, s.[name] StatName, STATS_DATE(t.object_id,s.[stats_id]) LastUpdated FROM sys.[stats] AS s JOIN sys.[tables] AS t ON [s].[object_id] = [t].[object_id] WHERE t.type = 'u'

如果发现RDS中统计信息比自建库要老旧,可以手动更新下统计信息。 防止由于统计信息老旧,造成SQL  Server生成不准确的执行计划,降低执行效率。

5. 高可用性架构

RDS作为一个公共的关系数据库服务,首要是保证稳定高可用,高安全,保证用户使用的是既安全又稳定的服务。然后才是高性能。
RDS SQL Server为了保证主备数据的一致性,采用的是High Safety同步模式,相对于High Performance 模式,性能有所牺牲,但是增强了高可用性,保护了数据。
同时, RDS 还提供多可用区主备实例,双节点在不同机房,更进一步保证了高可用性和安全性。

问题排查:
1. RDS实例的内存配置比本地高;
2. 网络延迟不大;
3. RDS的MAXDOP值是2,而ECS自建实例是默认值,即并行语句可以申请尽可能多的并行线程。
通过执行计划看出,RDS中查询语句的并行度是2,而自建库中查询语句的并行度是8,RDS中执行速度自然没有自建库快。


解决方案:
1. 上述我们分析到,RDS的配置实际比自建库高,那么可以在RDS 实例控制台的参数设置中,增加max degree of parallelism值来提升并行度。
2. 通过执行计划,还发现用户表中有Missing Index。 在RDS添加了Missing Index后,查询性能有大幅度提升,即使并行度为2,也可以在5s执行完毕。

时间: 2024-12-21 13:24:59

性能测试:自建数据库与RDS性能对比SQL Server案例排查分析的相关文章

《数据库基础及实践技术——SQL Server 2008》一3.2 创建数据库

3.2 创建数据库 利用SQL Server Management Studio(SSMS)工具,可以用图形化的方法创建数据库,也可以通过Transact-SQL语句创建数据库.下面分别介绍这两种方法. 3.2.1 用图形化方法创建数据库 在SSMS工具中用图形化方法创建数据库的步骤为: 1)启动SSMS,并以数据库管理员身份连接到SQL Server数据库服务器的一个实例上. 2)在SSMS的"对象资源管理器"中,在SQL Server实例下的"数据库"节点上右击

《数据库基础及实践技术——SQL Server 2008》一3.1 SQL Server数据库概述

3.1 SQL Server数据库概述 SQL Server 2008中的数据库由包含数据的表集合以及其他对象(如视图.索引.存储过程等)组成,目的是为执行与数据有关的活动提供支持.SQL Server支持在一个实例中创建多个数据库,每个数据库在物理和逻辑上都是独立的,相互之间没有影响.每个数据库存储相关的数据.例如,可以用一个数据库存储商品及销售信息,用另一个数据库存储人事信息. 从数据库的应用和管理角度来看,SQL Server将数据库分为两大类:系统数据库和用户数据库.系统数据库是SQL

《数据库基础及实践技术——SQL Server 2008》一3.4 修改数据库

3.4 修改数据库 创建完数据库后,用户在使用过程中可以根据需要对数据库的定义进行修改.修改数据库的操作主要包括如下几项: 扩大数据库空间. 缩小数据库空间. 添加和删除数据库文件. 创建文件组. 更改数据库所有者. 3.4.1 扩大数据库空间 如果在创建数据库时没有设置自动增长方式,则数据库在使用一段时间后可能会出现数据库空间不足的情况,这些空间包括数据空间和日志空间.如果数据空间不够,则意味着不能再向数据库中插入数据:如果日志空间不够,则意味着不能再对数据库数据进行任何修改操作,因为对数据的

JSP数据库操作例程 - 存储过程 - JDBC-ODBC - SQL Server - 1.1版本

js|odbc|server|存储过程|数据|数据库 <%--作者:何志强[hhzqq@21cn.com]日期:2000-08-04 2000-08-16版本:1.1功能:JSP数据库操作例程 - 存储过程 - JDBC-ODBC - SQL Server SQL Server的存储过程如下:    create procedure sp_jsptest       @yourname  varchar(50),       @myname varchar(50) output    as   

《数据库基础及实践技术——SQL Server 2008》一3.6 分离和附加数据库

3.6 分离和附加数据库 利用分离和附加数据库的操作可以实现将数据库从一台计算机移动到另一台计算机,或者从一个实例移动到另一个实例的目的. 数据库被分离后,其所包含的数据文件和日志文件不再受数据库管理系统的管理,因此,用户可以复制或剪切该数据库的全部文件,然后将它们放置到另一台计算机上,或者本计算机的其他位置上.然后,通过附加的方法可以将数据库恢复到同一台数据库服务器上,或者附加到其他数据库服务器上. 如果要将数据库移动或复制到同一台服务器的不同SQL Server实例中,或者要移动数据库的数据

迁移本地SQL Server数据库到Windows Azure的SQL Server中

Windows http://www.aliyun.com/zixun/aggregation/13357.html">Azure现在提供了IaaS的运行模式,可以直接跑windows的虚机和安装SQL Server数据库.这也是目前在云中数据库最佳的应用方式了.但是怎么样把你在本地SQL Server数据库到Windows Azure的SQL Server上面呢,我原来以为非常简单,但是试了一下还是碰到了很多问题.最后虽然成功,觉得还是有必要和大家分享一下具体的做法,下面是主要的步骤概括

《数据库基础及实践技术——SQL Server 2008》一2.5 SQL Server Management Studio工具

2.5 SQL Server Management Studio工具 SQL Server Management Studio是SQL Server 2008中最重要的管理工具之一,使用这个工具既可以用图形化的方法,也可以通过编写SQL语句来实现对数据库的操作. SQL Server Management Studio是一个集成环境,用于访问.配置和管理所有的SQL Server组件,它组合了大量的图形工具和丰富的脚本编辑器,使技术水平不同的开发和管理人员都可以通过这个工具访问和管理SQL Se

一个字节造成的巨大性能差异——SQL Server存储结构

今天同事问了我一个SQL的问题,关于SQL Server内部存储结构的,我觉得挺有意思,所以写下这篇博客讨论并归纳了一下.问题是这样的: 首先我们创建两张表,一张表的列长度是4039字节,另一张表的长度是4040字节,他们就只有一个字节的差距,比如以下创建表的SQL: CREATE TABLE tb4039(c1 INT IDENTITY,c2 char(4035) not null)CREATE TABLE tb4040(c1 INT IDENTITY,c2 char(4036) not nu

《数据库基础及实践技术——SQL Server 2008》一1.2 数据库系统与数据库管理系统

1.2 数据库系统与数据库管理系统 本节介绍数据库系统的组成以及数据库管理系统的功能. 1.2.1 数据库系统的组成 数据库管理系统是一个系统软件,如SQL Server.Oracle.DB2等都是著名的数据库管理系统软件,但在有了数据库管理系统这个软件之后,并不意味着已经具有了用数据库管理系统管理数据的优点,必须在这个软件基础之上进行一些必要的工作,以把数据库管理系统提供的功能发挥出来.首先应该利用这个系统存放用户自己的数据,让数据库管理系统帮助我们把这些数据管理起来,其次还应有对这些数据进行