SQL查询时生成的临时文件对数据库查询的影响

   当使用sql语句进行查询时,查询的结果是存放在一个后缀名为tmp的一个临时文件中。当查询的时候,该文件存放查询的结果,当关闭该查询的时候,该临时文件会自动删除,所以在我们进行查询的时候,是感觉不到该文件的存在。

  一、tmp文件存在于什么地方

  对于windows系统,都有一个系统环境变量,这个变量可以通过

  右击我的电脑——属性——高级——环境变量可以查看。

  Tmp临时文件就存在于temp文件夹下面。

  二、tmp文件的格式

  对于tmp文件,里面存放的查询结果,那么对于查询结果在tmp文件中的存储是按照

  一定格式来进行存储的,存储的格式为:

  对于每一列,分成两部分:

  第一部分:标示该列的长度,当字符的长度大于255时,使用5个字节来存放。

  第二部分:该列的数据。对于字符型数据,是转化为uniocode来进行存储的。

select 1,cast(1 as bigint),'ab',getdate() 
查询生成的tmp文件为(16进制) 
04 01 00 00 00 08 01 00 00 00 00 00 00 00 04 61 00 62 00 08 60 73 c2 02 7a 7b cb 08
其中04 01 00 00 00为第一个1 
08 01 00 00 00 00 00 00 00为第二个bigint类型的1 
04 61 00 62 00 为’ab’ 
08 60 73 c2 02 7a 7b cb 08 为getdate()

  例如:对于这样一张表:


  使用select * from tb 形成的tmp文件格式为:


id列的数据长度


id列的数据


dtcol列的数据长度


dtcol列的数据


charcol的数据长度


charcol的数据


maxcol列的数据长度


maxcol的数据

  其中charcol与maxcol都是转换为unicode来进行存储的。

  对于tmp文件的查看,可以通过记事本来查看,但是只能看到字符,对于数字、日期看到的是乱码,可以使用UE来查看tmp文件的二进制数据。

  三、向该表中插入100W数据

declare @i int @dt datetime

select @i=0,@dt='1900-1-1'

while @i<1000000

begin

   insert into testdata(dtcol,charcol,maxcol)

   values(@dt+@i,replicate(char(rand()*26+65),100),replicate(newid(),100))

   set @i=@i+1

end

  四、tmp文件对查询的影响

  在知道了tmp文件的格式之后,那么对于tmp文件的大小一般是能估算出来的,以上

  述表为例,一行在tmp文件中的大小为:1+8+1+8+1+200+5+7200=7424B,100W的数据大约是7424*100WB,tmp文件的大小为7,250,000KB左右。

  1、当表中的数据比较多的话,尤其是字符类型的数据占多数的时候,就需要注意这个tmp文件了。如果temp文件夹所在的磁盘空间不富裕的话,那么tmp会占用剩余的磁盘空间,还不够的话,那么系统会提示空间不够,并且会终止本次查询。

  2、temp文件夹所在的磁盘的磁盘格式最好为NTFS,因为FAT32格式最大的文件大小为4G,当tmp文件的大小超过4G时,那么是不会产生新的tmp文件的,那么系统也会提示空间不够,并且终止本次查询。(空间不够未必是磁盘空间不够,而是因为tmp文件已经达到最大容量4G)

  综上所述:temp文件夹应该放在磁盘空间充足的,并且分区格式为ntfs格式的分区上。

时间: 2024-08-22 14:43:31

SQL查询时生成的临时文件对数据库查询的影响的相关文章

sql查询时select id,*无法查询

问题描述 sql查询时select id,*无法查询 select id,* from table;-- 这句sql是错误的: select id,a.* from table a ;--这句就可以执行: 为啥给表设置了别名之后就可以了? 解决方案 或许这就是思想,先记住,慢慢就理解了. 解决方案二: 代表的是全部,id+等于重复了,而起别名就可以避免这个计算机认为重复的情况 解决方案三: 代表全部字段,id字段也被包含在里 解决方案四: 我觉得是这样的,第一个错误本身语法就是有问题,星号里面就

lazy-Spring data JPA使用CriteriaQuery进行不定条件查询时,发起了多次查询

问题描述 Spring data JPA使用CriteriaQuery进行不定条件查询时,发起了多次查询 //PlatformSecurityUser为账户信息实体,和用户基本信息platformSysUser存在一对一的映射关系,fetchType为lazy //在获取账户信息的同时,希望一次获取用户基本信息-platformSysUser import javax.persistence.*; import javax.persistence.criteria.*; import java.

防SQL注入:生成参数化的通用分页查询语句

前些时间看了玉开兄的"如此高效通用的分页存储过程是带有sql注入漏洞的"这篇文章,才突然想起 某个项目也是使用了累似的通用分页存储过程.使用这种通用的存储过程进行分页查询,想要防SQL注入 ,只能对输入的参数进行过滤,例如将一个单引号"'"转换成两个单引号"''",但这种做法是不安全 的,厉害的黑客可以通过编码的方式绕过单引号的过滤,要想有效防SQL注入,只有参数化查询才是最终 的解决方案.但问题就出在这种通用分页存储过程是在存储过程内部进行SQ

大数据量下的数据库查询与插入如何优化? (整理)

数据库经常要做一些查询与插入,但是如果查询和插入的数据量过大的时候就会引发数据库性能问题,降低数据库工作效率.因此性能调优是大家在工作中都能够预见的问题,大到世界五百强的核心系统,小到超市的库存系统,几乎都会有要调优的时候.面对形形色色的系统,林林总总的需求,调优的手段也是丰富多彩. 1.尽量使语句符合查询优化器的规则避免全表扫描而使用索引查询 2.避免频繁创建和删除临时表,以减少系统表资源的消耗. 3.尽量避免向客户端返回大数据量,若数据量过大,应该考虑相应需求是否合理. 4.建立高效的索引

PowerDesigner逆向工程生成PDM模型及数据库

原文 http://www.cnblogs.com/springside4/archive/2012/04/16/2481149.html 在数据建模过程中,我们建立概念数据模型,通过正向工程生成物理数据模型,生成数据库建 库脚本,最后将物理数据模型生成关系数据库.系统数据库设计人员希望能够将数据库设计和关系数据库生成无缝地集成起来,如何保证物理数据模型与其对应数据 库之间的双向同步成为数据建模非常关键的一点. Powerdesigner作为强大的Case工具,为我们提供了方便的逆向工程特性.可

界面设计-关于sqlite3数据库查询

问题描述 关于sqlite3数据库查询 界面设计是这样,怎么根据下拉菜单的选择与文本框的输入进行查询 解决方案 sqlite3 数据库使用数据库sqlite3的查询导入导出等基本操作在vc中使用sqlite3数据库 解决方案二: 这两个选择都是条件,构建到sql语句的where条件判断中 你只要拼接SQL字符串就可以,然后再进行数据库查询

ip地址-关于whois数据库查询的问题

问题描述 关于whois数据库查询的问题 1)想要查询whois数据库,是通过 什么参数 进行查询 的呢?是通过 域名对应的IP地址 查询么? 2)whois数据库查询的结果是什么呢?是关于 域名的一些信息 么? 解决方案 根据注册的域名来查询 返回相关域名的各种信息 域名:baidu.com 访问此网站 该数据缓存于 2015-03-21 12:46,点击 强制更新 注册商:MARKMONITOR INC. 域名服务器:whois.markmonitor.com DNS服务器:DNS.BAID

entity-hibernate查询时Criteria怎么根据级联的两个类里的属性进行查询?

问题描述 hibernate查询时Criteria怎么根据级联的两个类里的属性进行查询? 有3个表,A,B,C, 关系如下: A-->List,B属性有time等; A-->List,C属性有time等 Java代码: Entity: @OneToMany(fetch = FetchType.EAGER) @JoinColumn(name = "axxx_id") @Fetch(FetchMode.SELECT) public List getB() { return b;

PowerDesigner 16.5对SQL Server 2012 生成数据库时&quot;不支持扩展属性&quot;问题

原文:PowerDesigner 16.5对SQL Server 2012 生成数据库时"不支持扩展属性"问题 团队合作设计一套系统数据模型,创建了PDM后,Table.View.Store Procedure等都创建好了,且创建了多个Schema方便管理这些数据库对象,但Table.view.Column等对象有Comment时(用来在团队不同成员间共享描述信息) 生成数据库时会得到一个提示"不支持扩展属性,或对象不存在",分析发现异常在类似以下语句: if ex