分享一个SQLSERVER脚本

原文:分享一个SQLSERVER脚本

分享一个SQLSERVER脚本

很多时候我们都需要计算数据库中各个表的数据量很每行记录所占用空间

这里共享一个脚本

CREATE TABLE #tablespaceinfo
    (
      nameinfo VARCHAR(50) ,
      rowsinfo BIGINT ,
      reserved VARCHAR(20) ,
      datainfo VARCHAR(20) ,
      index_size VARCHAR(20) ,
      unused VARCHAR(20)
    )  

DECLARE @tablename VARCHAR(255);  

DECLARE Info_cursor CURSOR
FOR
    SELECT  '[' + [name] + ']'
    FROM    sys.tables
    WHERE   type = 'U';  

OPEN Info_cursor
FETCH NEXT FROM Info_cursor INTO @tablename  

WHILE @@FETCH_STATUS = 0
    BEGIN
        INSERT  INTO #tablespaceinfo
                EXEC sp_spaceused @tablename
        FETCH NEXT FROM Info_cursor
    INTO @tablename
    END 

CLOSE Info_cursor
DEALLOCATE Info_cursor  

--创建临时表
CREATE TABLE [#tmptb]
    (
      TableName VARCHAR(50) ,
      DataInfo BIGINT ,
      RowsInfo BIGINT ,
      Spaceperrow AS ( CASE RowsInfo
                         WHEN 0 THEN 0
                         ELSE DataInfo / RowsInfo
                       END ) PERSISTED
    )

--插入数据到临时表
INSERT  INTO [#tmptb]
        ( [TableName] ,
          [DataInfo] ,
          [RowsInfo]
        )
        SELECT  [nameinfo] ,
                CAST(REPLACE([datainfo], 'KB', '') AS BIGINT) AS 'datainfo' ,
                [rowsinfo]
        FROM    #tablespaceinfo
        ORDER BY CAST(REPLACE(reserved, 'KB', '') AS INT) DESC  

--汇总记录
SELECT  [tbspinfo].* ,
        [tmptb].[Spaceperrow] AS '每行记录大概占用空间(KB)'
FROM    [#tablespaceinfo] AS tbspinfo ,
        [#tmptb] AS tmptb
WHERE   [tbspinfo].[nameinfo] = [tmptb].[TableName]
ORDER BY CAST(REPLACE([tbspinfo].[reserved], 'KB', '') AS INT) DESC  

DROP TABLE [#tablespaceinfo]
DROP TABLE [#tmptb]

注意:使用之前要计算哪个数据库的记录,请先USE一下要统计表记录数的那个数据库!!

 



工作中遇到的问题

可以说我在实际的工作中 ,在100个问题中有90个都会先用到这个脚本

这里举一个我本人工作中遇到的一些问题

 

问题一:

程序员反映数据库查询慢,5分钟还没有出结果

我先用这个脚本看一下这个表有多少记录,大概有1000w+条数据

然后在本地的SSMS里查询,确实也是大概4分钟的样子才出来数据,看一下执行计划,发现查询能使用到索引

看一下数据库的压力,并不是很大,我跟会不会跟数据量有关系呢?

程序员要查询的结果条数是500条数据,业务表是做了分区的,按道理应该不会慢成这样。。。

后来我再看一下共享出来的那个脚本的结果,发现查询的结果大小=每行记录的大小*记录数

要查询大概500MB的数据,再传到客户端,不慢才怪

 

为什麽查询出的结果这么大?

主要是有几个大字段:例如:二进制字段和NVARCHAR(MAX)

并且时间范围跨度比较大

 

马上叫程序员改一下查询的语句,由于是entity framework程序,怎麽改我就不太清楚了,主要是不必要的字段就不查询处理并且缩小时间范围

 

问题二:

还有一些问题也需要知道每行记录的大小,例如删除表的历史数据,QA说要保留2013年之前的数据,你需要查出保留的数据或者2013年之前的数据占用多少G空间

再结合当前服务器的磁盘可用空间,来评估删除的数据是否太多或者太少

那么流程是:先查出2013年之前的记录数有多少-》计算表的总记录数-》计算表的大小-》手工计算每行记录的大小-》乘以2013年之前的记录数

如果没有每行记录数这个字段,那么你手工计算,是不是效率就变慢了???

 

问题三:

导数据的时候,你想知道当前已经导了多少数据了,那么执行一下这个脚本就可以了,这个脚本基本不会被阻塞

很快就能查出结果



脚本的计算方法

方法一

实际上利用的就是数据行大小的信息除以记录数

CASE RowsInfo
WHEN 0 THEN 0
ELSE DataInfo / RowsInfo

 

 

 方法二

SELECT AVG(DATALENGTH(C0))+AVG(DATALENGTH(C1))+AVG(DATALENGTH(C2))+AVG(DATALENGTH(C3)) FROM [dbo].[TB106]

 

说一下两种方法的区别

第一种方法是效率高,当表有上亿条记录的时候,如果你使用第二种方法执行AVG(DATALENGTH(C0))是很慢的,因为SQLSERVER要统计字段大小信息

可能十几分钟都出不来结果

 

当然,第一种方法也有一些缺陷,就是当表的记录数少的时候,统计出来的每行记录占用空间是不准确的

因为datainfo这个值是以数据页大小为单位的,因为就算表只有一条记录,那么也会占用一个数据页(8KB)

那么当8KB/1 =8KB,一条记录肯定不会是8KB大小的,所以记录少的时候会不准确

但是当记录数很多的时候,就准确了

 

看一下TB106这个表统计出来的结果值

SELECT AVG(DATALENGTH(C0))+AVG(DATALENGTH(C1))+AVG(DATALENGTH(C2))+AVG(DATALENGTH(C3)) FROM [dbo].[TB106]

可以看到是比较准确的

 

注意:

无论方法一还是方法二都不包括索引所占用的空间 !!



总结

大家平时一定会想:究竟DBA有什么作用?

在这里就给大家一个例子了,在工作中,程序员是不会关心他要查询的数据的大小的,他不管三七二十一只要把数据select出来就行了,然后收工

DBA这里就要解决数据查询不出来的问题,一般的程序员觉得查询500条数据是很少的,根本不会关心表设计,表的字段的数据类型

当工作越来越多,开发任务越来越重的时候更是这样

 

所以本人觉得DBA这个角色还是比较重要的o(∩_∩)o 

 

如有不对的地方,欢迎大家拍砖o(∩_∩)o 

 

 

2014-7-7 脚本bug修复

由于算出来每行记录的精度有问题,我又对脚本的精度进行了改进

CREATE TABLE #tablespaceinfo
    (
      nameinfo VARCHAR(50) ,
      rowsinfo BIGINT ,
      reserved VARCHAR(20) ,
      datainfo VARCHAR(20) ,
      index_size VARCHAR(20) ,
      unused VARCHAR(20)
    )  

DECLARE @tablename VARCHAR(255);  

DECLARE Info_cursor CURSOR
FOR
    SELECT  '[' + [name] + ']'
    FROM    sys.tables
    WHERE   type = 'U';  

OPEN Info_cursor
FETCH NEXT FROM Info_cursor INTO @tablename  

WHILE @@FETCH_STATUS = 0
    BEGIN
        INSERT  INTO #tablespaceinfo
                EXEC sp_spaceused @tablename
        FETCH NEXT FROM Info_cursor
    INTO @tablename
    END 

CLOSE Info_cursor
DEALLOCATE Info_cursor  

--创建临时表
CREATE TABLE [#tmptb]
    (
      TableName VARCHAR(50) ,
      DataInfo BIGINT ,
      RowsInfo BIGINT ,
      Spaceperrow  AS ( CASE RowsInfo
                         WHEN 0 THEN 0
                         ELSE CAST(DataInfo AS decimal(18,2))/CAST(RowsInfo AS decimal(18,2))
                       END ) PERSISTED
    )

--插入数据到临时表
INSERT  INTO [#tmptb]
        ( [TableName] ,
          [DataInfo] ,
          [RowsInfo]
        )
        SELECT  [nameinfo] ,
                CAST(REPLACE([datainfo], 'KB', '') AS BIGINT) AS 'datainfo' ,
                [rowsinfo]
        FROM    #tablespaceinfo
        ORDER BY CAST(REPLACE(reserved, 'KB', '') AS INT) DESC  

--汇总记录
SELECT  [tbspinfo].* ,
        [tmptb].[Spaceperrow] AS '每行记录大概占用空间(KB)'
FROM    [#tablespaceinfo] AS tbspinfo ,
        [#tmptb] AS tmptb
WHERE   [tbspinfo].[nameinfo] = [tmptb].[TableName]
ORDER BY CAST(REPLACE([tbspinfo].[reserved], 'KB', '') AS INT) DESC  

DROP TABLE [#tablespaceinfo]
DROP TABLE [#tmptb]

 

时间: 2024-10-17 09:59:54

分享一个SQLSERVER脚本的相关文章

分享一个SQLServer中bigint转int带符号时报错的解决函数【干货】

有一个需求是要在一个云监控的状态值中存储多个状态(包括可同时存在的各种异常.警告状态)使用了位运算机制在一个int型中存储. 现在监控日志数据量非常大(亿级别)需要对数据按每小时.每天进行聚合,供在线报表使用. 状态分了3个级别:正常(0).警告(1).异常(2),聚合时需要使用max选择最差的状态,就需要对状态值进行处理加上级别和状态位个数,就要借助bigint型来做运算了, 问题是再将bigint 转为 int时获取原始状态值时,SQLServer报错了: 消息 8115,级别 16,状态

分享一个入门级可控多线程shell脚本代码_linux shell

说到shell可控多线程,网上分享的大部分是管道控制的方案.这种方案,张戈博客也曾经实战并分享过一次:<Shell+Curl网站健康状态检查脚本,抓出中国博客联盟失联站点>,感兴趣的朋友可以看看. 分享一个入门级可控多线程shell脚本方案 下面张戈博客再分享另一种更容易理解的入门级可控多线程shell脚本方案:任务切割.各个击破. 先来 1 段场景描述: 某日,在鹅厂接到了这个任务,需要在Linux服务器中,对几千个IP进行一次Ping检测,只要取得ping可达的IP就好.如果单个IP去pi

分享一个批量导出当前实例下的所有linkedserver脚本

原文:分享一个批量导出当前实例下的所有linkedserver脚本 分享一个批量导出当前实例下的所有linkedserver脚本 很多时候,我们都需要导出实例下面的登录用户,job,linkedserver等等 导出job比较复杂,下午写了一个脚本把所有的linkedserver导出来,但是密码不会显示出来 下面脚本在SQL2008 R2下面测试通过 -- ============================================= -- Author: <桦仔> -- Blog

分享一个可以获取远程网站CSS配色的工具网站

分享一个通过读取远程网站的CSS文件,自动生成该网站配色方案的在线工具网站,推荐大家收藏... 在下面输入对方网站的网址后,轻松取得该网站CSS中应用到的配色色值. http://redalt.com/Tools/I+Like+Your+Colors 试一下吧!

V5Shop分享一个独立网店快速提升PR和销售额的方法

V5Shop分享一个独立网店快速提升PR和销售额的方法 很多独立网店的店主都在为宣传推广头疼.在现在这个产品丰富的市场经济环境下,各行各业的竞争都异常激烈,"酒香也怕巷子深"已经成为网商们的共识.作为独立网店,独立运营固然可以避免许多"拼低价"的竞争,客户对网店和品牌的忠诚度也有保证,但是在推广这个问题上,却难住了不少网商. 许多网商之所以过于依赖淘宝等大型平台,就是因为这些平台能够为其带来源源不断的客户,其不用为如何招揽客户,如何推广网店而劳心.有得必有失,这同样

力洋SEO分享一个百试百灵的新站收录方法

网站收录页面的多少决定了网站的长尾关键词排名分布,在此同时也影响着网站的访问量,进而影响网站的订单交易,业务合作,提高网站收录页面就成为每个站长必定的工作.有些站长为了提高网站收录页面,开始采集更新,或者直接复制更新,但最近的百度调整算法令这些站长吃亏了,百度不但没有收录这些页面,还减少了以前收录的重复页面,成千上万的收录是每个站长都向往的.对于新站收录,很多站长不知所措,网站建设完成了一个多月了,百度依然不肯收录网站内容页面,只是单纯的收录了首页,今天力洋SEO分享一个新站百试百灵的收录方法:

C#反编译微软MSDN2003的帮助文档,并将反编译结果保存到一个SQLSERVER数据库中

server|sqlserver|编译|数据|数据库|微软 using System;using System.Drawing;using System.Collections;using System.ComponentModel;using System.Windows.Forms; namespace MSDNOUT{ /// <summary> /// 反编译微软MSDN2003文档并保存到数据库的程序主窗体 /// </summary> public class dlgM

编写第一个Shell脚本

最近一直在看shell方面的资料,很乏味,也不知道看的效果,正好下午Linux群里一兄弟,提出了一个他们公司的需求,听了之后有点思绪,感觉应该可以写出来,个人的第一个Script就诞生... 需求:每天登陆服务器查看磁盘空间比较麻烦,所以就想利用一个脚本,用来检测系统磁盘空间,然后将结果通过邮件的形式发送到指定邮箱. Script内容如下: #!/bin/bash #2012/09/17 by Song #Email:XXX@163.com DiskNum=`df -h | grep sda1

分享一个超好用的php header下载函数

 这篇文章主要为大家分享一个超好用的php header下载函数,需要的朋友可以参考下 代码如下: <?php /**  * 发送文件  *  * @author: legend(legendsky@hotmail.com)  * @link: http://www.ugia.cn/?p=109  * @description: send file to client  * @version: 1.0  *  * @param string   $fileName      文件名称或路径  *