艾伟_转载:Web网站缓存文件并发问题解决方案

我所负责的XXX.CN平台前期由于网站整体运行效率低因此采用了文件缓存的方式(文件缓存就是当某个页面第一次接受用户访问时将数据库中获取到的内容转化成xml文件的形式,并且存储在服务器硬盘当中,当后面的人再来访问时就只需要直接读取xml缓存文件即可,减少了读取数据库的次数,从而达到提高网站运行效率的目的),但是使用了这种方式其中有一个更新数据的问题,在更新和读取是就产生了并发的问题,说白了就是读取和写入的矛盾,当你的网站的访问量达到一定程度后,产生这种矛盾的概率越来越大,已至于访问者无法访问网站,流失了客户,对于我们酒店预订平台来说,流失的不是客户,而是白花花的金子,这个问题已经困挠了我许久,直到前几天,我在坐公交时回想起前一天给面试的人打印试卷的事,突然脑子里出现了“复制”这个词,并且把它扩展开想到了我们网站文件缓存的占用问题上,且已经用程序的方式成功运用到我们的网站中,下面就讲一下运行过程。

首先,我们网站整站的缓存方式都是依靠的DataSet的ReadXml和WriteXml的方式实现的,这种方式在访问量不是很大的网站中是一点问题都没有的(最大可承受的日IP估计在8000-15000左右),但是当你的网站日IP访问量到达20000时,他就完全崩溃了,出现xml的并发占用问题日趋严重,于是我们就采用了文件流的形式去操作,具体代码如下:
写入:
        Stream s = null;
        s = File.Open(FileName, FileMode.Create, FileAccess.ReadWrite,FileShare.ReadWrite);
        BinaryFormatter b = new BinaryFormatter();
        b.Serialize(s, ds);
        s.Close();
读取:
        Stream s = null;
        s = File.Open(FileName, FileMode.Open, FileAccess.Read);
        BinaryFormatter b = new BinaryFormatter();
        ds = (DataSet)b.Deserialize(s);
        s.Close();
这种方式在一定程度上解决了直接使用DataSet的ReadXml和WriteXml的方式带来的问题,但是当网站的日访问量达到40000或更高时,并发问题依然存在,其实存在并发的根本原因不是我们用了什么方式去读取或者写入(方式的不同的确在一定程度上可以解决一些问题,但根本原因没有得到根治),而是在两个或者更多个进程(有需要读取的也有需要写入的)在争抢同一个文件时程序如何给出一个可以让双方满意的方案,于是顺着这个思路,我有对程序做了以下改进:

        //读取锁,可以让一个文件被多个进程同时读取,也可以保证只被一个进程改写
        ReaderWriterLock locker = new ReaderWriterLock();//读取锁()

写入:
       Stream s = null;
       try
      {
          locker.AcquireWriterLock(1500);//写锁定(写入时间最大允许在1500毫秒内完成,超时就立即退出)
          if (!File.Exists(FileName))
          {
                s = File.Create(FileName);
          }
          else
          {
               //创建此文件的一个副本,以供同时访问此文件的读取进程使用(就像打印机的复制功能),由于使用了写锁定,其他的写入进程都将转化为读取进程,而读取进程是不存在并发问题的
               File.Copy(FileName,FileName.Replace(".xml","Temp.xml"),true);
               s = File.Open(FileName, FileMode.Create, FileAccess.ReadWrite,FileShare.ReadWrite);
          }
          BinaryFormatter b = new BinaryFormatter();
          b.Serialize(s, ds);
          s.Close();
       }
       finally
      {
          if(s!=null)
          {
              s.Close();
          }
          locker.ReleaseWriterLock();//释放写锁定
          //这里可以加入删除临时文件的代码,但不建议这样做,我测试了下,会产生新的读写并发问题。
     }
读取:
        Stream s = null;
        Stream sTemp = null;
        try
       {
            locker.AcquireReaderLock(1500);//读锁定(当所用文件被写锁定时超时时间为1500毫秒)
            s = File.Open(FileName, FileMode.Open, FileAccess.Read);
            BinaryFormatter b = new BinaryFormatter();
            ds = (DataSet)b.Deserialize(s);
            s.Close();
       }
       catch//这里使用catch主要是因为当读取方法所读的文件正在被改写时会获取空内容导致异常,或者写入超时导致文件内容出错时异常,或者读锁定超时后读取临时文件时刚好临时文件被删除时发生异常
       {
            locker.ReleaseReaderLock();//释放锁
            locker.AcquireReaderLock(1500);//再次锁定
           if(File.Exists(FileName.Replace(".xml","Temp.xml")))
           {
                 //读取副本文件
                 sTemp = File.Open(FileName.Replace(".xml","Temp.xml"), FileMode.Open, FileAccess.Read, FileShare.ReadWrite);
                 BinaryFormatter b = new BinaryFormatter();
                 ds = (DataSet)b.Deserialize(s);
                 sTemp.Close();
           }
       }
       finally
       {
           if(s!=null)
           {
               s.Close();
           }
           if(sTemp!=null)
          {
               sTemp.Close();
          }
          locker.ReleaseReaderLock();
      }
好了,以上就是最终的改进方法,想通了很简单,就是创造个临时文件而已,从这件事我觉得大家在解决一个问题时不一定老是要从纯技术的角度去思考问题,之前我就想过用内存缓存的方式去做,但总觉得,会有一个更简单的方法的,于是使用了这种看似非常老土,而又没有任何技术含量的方式去解决了。不管使用哪种方式,能解决问题那就是好方法。其实想想世间万物都是相通的,只要我们发挥人类善于发掘和联想的能力,任何问题都不是问题。

另外,我在读操作中使用了try{}catch{},虽然进入catch流程的几率很小,但总会影响效率,不知各位看客啊有什么更好的方法指点一下.

时间: 2024-09-20 04:20:51

艾伟_转载:Web网站缓存文件并发问题解决方案的相关文章

Web网站缓存文件并发问题解决方案

我所负责的XXX.CN平台前期由于网站整体运行效率低因此采用了文件缓存的方式(文件缓存就是当某个页面第一次接受用户访问时将数据库中获取到的内容转化成xml文件的形式,并且存储在服务器硬盘当中,当后面的人再来访问时就只需要直接读取xml缓存文件即可,减少了读取数据库的次数,从而达到提高网站运行效率的目的),但是使用了这种方式其中有一个更新数据的问题,在更新和读取是就产生了并发的问题,说白了就是读取和写入的矛盾,当你的网站的访问量达到一定程度后,产生这种矛盾的概率越来越大,已至于访问者无法访问网站,

艾伟_转载:网站性能优化 - 数据库及服务器架构篇

1.Web Server 与 DB Server 分离 小型网站或 B/S 项目,因同时在线人数不多,尚可让同一台物理主机,既做 Web Server,又做 DB Server.但此二者皆会占用大量的 CPU.内存.磁盘 I/O,最好让二者分别用不同的服务器主机来提供服务,以分散压力.提高负载承受能力.此外,二者若在同一网段,应尽量用内网 Private IP 进行访问,而不要用 Public IP 或主机名称. 基本上跑 Web 上的应用程序,不管用什么软.硬件,同时处理多个用户的 reque

服务器-这些因素如何影响一个java web网站的并发数

问题描述 这些因素如何影响一个java web网站的并发数 服务器tomcat:最大连接数(maxThreads)和(acceptCount) 缓存redis:最大连接数(maxActive).最大空闲连接数(maxIdle) 数据源c3p0:最大连接数(maxPoolSize) 请教大牛解释这些参数和整个web网站并发数的关系

艾伟_转载:话说并发

对于很多人来说,并发是一个离不开的话题.那么我们平常对并发的理解可能局限于某个方面.去很好的理解并发,对于软件开发很有帮助.怎样去更好的理解并发? 苹果下落,在我们认识牛顿定律之前.如果问苹果是下落的,我们都会说大家都知道,很清楚,很明白--了解但没引起关注.如果问为什么苹果下落.我们会举出很多相关的概念来说明苹果为什么下落--相似性,但却没有一个很清晰的概念.在万有引力之后,我们的认识已经有一定的高度,甚至对以后很多科技都很有帮助. 所以怎样去理解并发,我们不缺乏经验.那么我们缺乏的就是那么一

艾伟_转载:VS 2010 和 .NET 4.0 系列之《在ASP.NET 4 Web Forms中实现URL导向》篇

本系列文章导航 VS 2010 和 .NET 4.0 系列之<ASP.NET 4 中的SEO改进 >篇 VS 2010 和 .NET 4.0 系列之<干净的Web.Config文件 >篇 VS 2010 和 .NET 4.0 系列之<起始项目模板>篇 VS 2010 和 .NET 4.0 系列之<多定向支持>篇 VS 2010 和 .NET 4.0 系列之<多显示器支持>篇 VS 2010 和 .NET 4.0 系列之<代码优化的Web开发

艾伟_转载:Java和.NET互操作:我们应该放弃Web Service吗?

通过Web Service混合.NET和Java技术往往很容易,但Web Service并 非是.NET和Java互操作的万灵丹.Web Service在集成独立的跨网络通信的组件时非常有用,在简单的调用/返回情景中,涉及的数据类型数量非常有限,且Web Service是基于标准的,混合.NET和Java技术通常显得很简单,因此有人认为Web Service是实现.NET和Java互操作的万能答案,但事实却并非如此. 在搜索引擎中搜索一下"Java .NET互操作"将会返回很多搜索结果

艾伟_转载:VS 2010 和 .NET 4.0 系列之《干净的Web.Config文件 》篇

本系列文章导航 VS 2010 和 .NET 4.0 系列之<ASP.NET 4 中的SEO改进 >篇 VS 2010 和 .NET 4.0 系列之<干净的Web.Config文件 >篇 VS 2010 和 .NET 4.0 系列之<起始项目模板>篇 VS 2010 和 .NET 4.0 系列之<多定向支持>篇 VS 2010 和 .NET 4.0 系列之<多显示器支持>篇 VS 2010 和 .NET 4.0 系列之<代码优化的Web开发

艾伟_转载:WCF、Net remoting、Web service概念及区别

Windows通信基础(Windows Communication Foundation,WCF)是基于Windows平台下开发和部署服务的软件开发包(Software Development Kit,SDK). WCF就是微软对于分布式处理的 编程技术的集大成者,它将DCOM.Remoting.Web Service.WSE.MSMQ集成在一起,从而降低了分布式系统开发者的学习曲线,并统一了开发标准. WCF是建立在.Net Framework 2.0基础之上的,包含在.NET 3.0/3.5

艾伟_转载:ASP.NET开发中关于Web标准的几点建议

  Visual Studio.NET从2003到现在的2008,一路走来慢慢强大--从以前的vs2003能自动改乱你的html代码到现在在vs2008中都能直接对html代码进行w3c标准验证并提示了,非常不易. 论坛中也经常有从事.NET开发的新手朋友问一些ASP.NET开发过程中与Web标准之间的冲突问题,其实说到底就是客户端代码生成的问题.更高深的开发层面的东西我也说不出来,从页面前端的角度和大家分享一下建议: 少用ASP.NET中的服务器端控件 在Visual Studio中,有一系列