SQL Server参数化查询大数据下的实践

  身为一名小小的程序员,在日常开发中不可以避免的要和where in和like打交道,在大多数情况下我们传的参数不多简单做下单引号、敏感字符转义之后就直接拼进了SQL,执行查询,搞定。若有一天你不可避免的需要提高SQL的查询性能,需要一次性where in 几百、上千、甚至上万条数据时,参数化查询将是必然进行的选择。然而如何实现where in和like的参数化查询,是个让不少人头疼的问题。

  where in 的参数化查询实现

  首先说一下我们常用的办法,直接拼SQL实现,一般情况下都能满足需要。

  string userIds = "1,2,3,4";

  using (SqlConnection conn = new SqlConnection(connectionString))

  {

  conn.Open();

  SqlCommand comm = new SqlCommand();

  comm.Connection = conn;

  comm.CommandText = string.Format("select * from Users(nolock) where UserID in({0})", userIds);

  comm.ExecuteNonQuery();

  }

  需要参数化查询时进行的尝试,很显然如下这样执行SQL会报错错误。

  using (SqlConnection conn = new SqlConnection(connectionString))

  {

  conn.Open();

  SqlCommand comm = new SqlCommand();

  comm.Connection = conn;

  comm.CommandText = "select * from Users(nolock) where UserID in(@UserID)";

  comm.Parameters.Add(new SqlParameter("@UserID", SqlDbType.VarChar, -1) { Value = "1,2,3,4" });

  comm.ExecuteNonQuery();

  }

  很显然这样会报错误:在将 varchar 值 '1,2,3,4' 转换成数据类型 int 时失败,因为参数类型为字符串,where in时会把@UserID当做一个字符串来处理,相当于实际执行了如下语句:

  select * from Users(nolock) where UserID in('1,2,3,4')

  若执行的语句为字符串类型的,SQL执行不会报错,当然也不会查询出任何结果。

  using (SqlConnection conn = new SqlConnection(connectionString))

  {

  conn.Open();

  SqlCommand comm = new SqlCommand();

  comm.Connection = conn;

  comm.CommandText = "select * from Users(nolock) where UserName in(@UserName)";

  comm.Parameters.Add(new SqlParameter("@UserName", SqlDbType.VarChar, -1) { Value = "'john','dudu','rabbit'" });

  comm.ExecuteNonQuery();

  }

  这样不会抱任何错误,也查不出想要的结果,因为这个@UserName被当做一个字符串来处理,实际相当于执行如下语句:

  select * from Users(nolock) where UserName in('''john'',''dudu'',''rabbit''')

  由此相信,大家对于为何简单的where in 传参无法得到正确的结果知道为什么了吧,下面我们来看一看如何实现正确的参数化执行where in,为了真正实现参数化where in 传参,很多人才想到了各种替代方案:

  方案1:使用CHARINDEX或like 方法实现参数化查询,毫无疑问,这种方法成功了,而且成功的复用了查询计划,但同时也彻底的让查询索引失效(在此不探讨索引话题),造成的后果是全表扫描,如果表里数据量很大,百万级、千万级甚至更多,这样的写法将造成灾难性后果;如果数据量比较小、只想借助参数化实现防止SQL注入的话这样写也无可厚非,还是得看具体需求。(不推荐)

  using (SqlConnection conn = new SqlConnection(connectionString))

  {

  conn.Open();

  SqlCommand comm = new SqlCommand();

  comm.Connection = conn;

  //使用CHARINDEX,实现参数化查询,可以复用查询计划,同时会使索引失效

  comm.CommandText = "select * from Users(nolock) where CHARINDEX(','+ltrim(str(UserID))+',',','+@UserID+',')>0";

  comm.Parameters.Add(new SqlParameter("@UserID", SqlDbType.VarChar, -1) { Value = "1,2,3,4" });

  comm.ExecuteNonQuery();

  }

  using (SqlConnection conn = new SqlConnection(connectionString))

  {

  conn.Open();

  SqlCommand comm = new SqlCommand();

  comm.Connection = conn;

  //使用like,实现参数化查询,可以复用查询计划,同时会使索引失效

  comm.CommandText = "select * from Users(nolock) where ','+@UserID+',' like '%,'+ltrim(str(UserID))+',%' ";

  comm.Parameters.Add(new SqlParameter("@UserID", SqlDbType.VarChar, -1) { Value = "1,2,3,4" });

  comm.ExecuteNonQuery();

  }

  方案2:使用exec动态执行SQL,这样的写法毫无疑问是很成功的,而且代码也比较优雅,也起到了防止SQL注入的作用,看上去很完美,不过这种写法和直接拼SQL执行没啥实质性的区别,查询计划没有得到复用,对于性能提升没任何帮助,颇有种脱了裤子放屁的感觉,但也不失为一种解决方案。(不推荐)

  using (SqlConnection conn = new SqlConnection(connectionString))

  {

  conn.Open();

  SqlCommand comm = new SqlCommand();

  comm.Connection = conn;

  //使用exec动态执行SQL  //实际执行的查询计划为(@UserID varchar(max))select * from Users(nolock) where UserID in (1,2,3,4)  //不是预期的(@UserID varchar(max))exec('select * from Users(nolock) where UserID in ('+@UserID+')') comm.CommandText = "exec('select * from Users(nolock) where UserID in ('+@UserID+')')";

  comm.Parameters.Add(new SqlParameter("@UserID", SqlDbType.VarChar, -1) { Value = "1,2,3,4" });

  comm.ExecuteNonQuery();

  }

  方案3:为where in的每一个参数生成一个参数,写法上比较麻烦些,传输的参数个数有限制,最多2100个,可以根据需要使用此方案。(推荐)

  using (SqlConnection conn = new SqlConnection(connectionString))

  {

  conn.Open();

  SqlCommand comm = new SqlCommand();

  comm.Connection = conn;

  //为每一条数据添加一个参数

  comm.CommandText = "select * from Users(nolock) where UserID in (@UserID1,@UserId2,@UserID3,@UserID4)";

  comm.Parameters.AddRange(

  new SqlParameter[]

  {

  new SqlParameter("@UserID1", SqlDbType.Int) { Value = 1},

  new SqlParameter("@UserID2", SqlDbType.Int) { Value = 2},

  new SqlParameter("@UserID3", SqlDbType.Int) { Value = 3},

  new SqlParameter("@UserID4", SqlDbType.Int) { Value = 4}

  });

  comm.ExecuteNonQuery();

  }

  方案4:使用临时表实现,写法实现上比较繁琐些,可以根据需要写个通用的where in临时表查询的方法,以供不时之需,个人比较推崇这种写法,能够使查询计划得到复用而且对索引也能有效的利用,不过由于需要创建临时表,会带来额外的IO开销,若查询频率很高,每次的数据不多时还是建议使用方案3,若查询数据条数较多,尤其是上千条甚至上万条时,强烈建议使用此方案,可以带来巨大的性能提升。(强烈推荐)

  using (SqlConnection conn = new SqlConnection(connectionString))

  {

  conn.Open();

  SqlCommand comm = new SqlCommand();

  comm.Connection = conn;

  string sql = @"

  declare @Temp_Variable varchar(max)

  create table #Temp_Table(Item varchar(max))

  while(LEN(@Temp_Array) > 0)

  begin

  if(CHARINDEX(',',@Temp_Array) = 0)

  begin

  set @Temp_Variable = @Temp_Array

  set @Temp_Array = ''

  end

  else

  begin

  set @Temp_Variable = LEFT(@Temp_Array,CHARINDEX(',',@Temp_Array)-1)

  set @Temp_Array = RIGHT(@Temp_Array,LEN(@Temp_Array)-LEN(@Temp_Variable)-1)

  end

  insert into #Temp_Table(Item) values(@Temp_Variable)

  end

  select * from Users(nolock) where exists(select 1 from #Temp_Table(nolock) where #Temp_Table.Item=Users.UserID)

  drop table #Temp_Table";

  comm.CommandText = sql;

  comm.Parameters.Add(new SqlParameter("@Temp_Array", SqlDbType.VarChar, -1) { Value = "1,2,3,4" });

  comm.ExecuteNonQuery();

  }

  like参数化查询

  like查询根据个人习惯将通配符写到参数值中或在SQL拼接都可,两种方法执行效果一样,在此不在详述。

  using (SqlConnection conn = new SqlConnection(connectionString))

  {

  conn.Open();

  SqlCommand comm = new SqlCommand();

  comm.Connection = conn;

  //将 % 写到参数值中

  comm.CommandText = "select * from Users(nolock) where UserName like @UserName";

  comm.Parameters.Add(new SqlParameter("@UserName", SqlDbType.VarChar, 200) { Value = "rabbit%" });

  comm.ExecuteNonQuery();

  }

  using (SqlConnection conn = new SqlConnection(connectionString))

  {

  conn.Open();

  SqlCommand comm = new SqlCommand();

  comm.Connection = conn;

  //SQL中拼接 %

  comm.CommandText = "select * from Users(nolock) where UserName like @UserName+'%'";

  comm.Parameters.Add(new SqlParameter("@UserName", SqlDbType.VarChar, 200) { Value = "rabbit%" });

  comm.ExecuteNonQuery();

  }

  我的写作热情离不开您的肯定支持。

时间: 2024-12-03 08:41:01

SQL Server参数化查询大数据下的实践的相关文章

SQL Server+Hadoop 变身大数据解决方案

文章讲的是SQL Server+Hadoop 变身大数据解决方案,在数据库市场中,微软的SQL Server是最受关注的产品之一.在数据库知识网站DB-Engines每月公布的数据库流行度排行榜中,SQL Server几乎稳占第二名的位置.但从这个榜单每月的变化中也可以看出,大量NoSQL数据库的排名不断上升,已经开始威胁到传统数据库的地位. "以不变应万变"不再是大数据时代应有的策略,老牌数据库厂商在保持传统市场领先的基础上,不断拓展新市场,微软就是其中的一个代表.微软的改变最早是为

Hadoop教程:SQL Server+Hadoop变身大数据解决方案

在数据库市场中,微软的SQL Server是最受关注的产品之一.在数据库知识网站DB-Engines每月公布的数据库流行度排行榜中,SQL Server几乎稳占第二名的位置.但从这个榜单每月的变化中也可以看出,大量NoSQL数据库的排名不断上升,已经开始威胁到传统数据库的地位. "以不变应万变"不再是大数据时代应有的策略,老牌数据库厂商在保持传统市场领先的基础上,不断拓展新市场,微软就是其中的一个代表.微软的改变最早是为了向Bing提供高质量的搜索结果,这与Google的情况类似,互联

SQL SERVER参数化查询后不走筛选索引

DROP TABLE T_TEST CREATE TABLE T_TEST( ID INT IDENTITY PRIMARY KEY,STATUS BIT ) INSERT INTO T_TEST SELECT 0 GO 100000 INSERT INTO T_TEST SELECT 1 CREATE INDEX IXF_T_TEST_STATUS ON T_TEST(STATUS) WHERE STATUS=1 UPDATE STATISTICS T_TEST with fullscan D

SQL Server引入Hadoop大数据处理能力

运行SQL Server的微软客户将通过Hadoop的引入获得真正的大http://www.aliyun.com/zixun/aggregation/14345.html">数据处理能力. 微软已经发布了早期代码,让客户可以将这个Java架构接入到SQL Server 2008 R2.SQL Server Parallel Data Warehouse以及下一代微软数据库. Doug Cutting受到Google MapReduce的启发而发明了开源Hadoop,现在它已经在某种程度上成

[Python]Python/PHP如何查询sql server中NTEXT类型数据

[Python]Python/PHP如何查询sql server中NTEXT类型数据 Version Date Creator Description 1.0.0.1 2006-11-23 郑昀 草稿   继续阅读之前,我们假设您熟悉以下知识: n         Python / PHP n         SQL Server 2000 SP4以上版本的Microsoft sql server n         pymssql n         NTEXT类型 本文讨论了在Python中

在 SQL Server 中查询EXCEL 表中的数据遇到的各种问题

原文:在 SQL Server 中查询EXCEL 表中的数据遇到的各种问题 SELECT * FROM OpenDataSource( 'Microsoft.Jet.OLEDB.4.0','Data Source="D:\KK.xls";User ID=Admin;Password=;Extended properties=Excel 5.0')...[Sheet1$] 问题:消息 15281,级别 16,状态 1,第 1 行 SQL Server 阻止了对组件 'Ad Hoc Dis

在SQL SERVER中查询数据库中第几条至第几条之间的数据SQL语句写法_数据库其它

今天在写程序的时候,需要生成从开始id到结束id的sql语句.原来不需要这个功能现在就需要了. 在SQL SERVER中查询数据库中第几条至第几条之间的数据SQL语句如何写? 如:在SQL SERVER中查询数据库中第10条至30条之间的数据SQL语句如何写? ------解决方案-------------------- select top 20 * from 表 where id in (select top 30 id from 表 order by id)order by id desc

SQL Server和Oracle防止数据锁定的比较

oracle|server|比较|数据 廖铮 2002-5-30 14:23:50 -------------------------------------------------------------------------------- 数据库并行访问,也就是两个或两以上用户同时访问同一数据,这也是数据库引擎如何设计和实现适度反应所面临的最大问题.设计优良.性能卓越的数据库引擎可以轻松地同时为成千上万的用户服务.而"底气不足"的数据库系统随着更多的用户同时访问系统将大大降低其性

剖析SQL Server 2005查询通知之基础篇

在本系列文章中,我们将深入探讨如何把.NET 2.0和SQL Server 2005的查询通知特征联合起来,以便通知应用程序何时关键数据发生变化进而达到消除反复查询数据库的目的. 一.引言 数据库应用程序的典型问题之一是更新陈旧的数据. 设想有一个典型的显示产品及其分类的电子商务网站.一个供应商的产品列表很可能并不经常发生变化,而其分类列表甚至更不会频繁更改.然而,在用户每次浏览该网站时,必须从数据库中反复查询这些列表.这显然是一种典型的低效资源利用,开发者和架构师都在绞尽脑汁想办法以减少这种浪