MySQL百万级高并发网站实战攻略

在一开始接触PHP接触MYSQL的时候就听不少人说:“MySQL就跑跑一天几十万IP的小站还可以,要是几百万IP就不行了”,原话不记得了,大体就是这个意思。一直也没有好的机会去验证这个说法,一是从没有接手过这么大流量的网站,二是平时工作也比较忙,懒得去管这些,反正现在用不着,抱着这个想法把这个问题一直留到了最近,才把这个问题搞明白。

就在前几天公司旗下一网站(由于这是公司的商业内容我就不说是那个网站了)以下简称A站,这A站在年后流量猛增从一天的七八十万猛跑到了好几百万的IP,一天下来接近一千万的PV让整个服务器在高压下超负荷的工作着,时不时的服务就出现宕机。

最首先反映出情况的是数据统计,一天下来一个数据也没有统计上,原来是MySQL停止工作了。

本文就围绕这个问题来讲讲我们公司几个技术人员的解决方案。

1. MySQL服务器集群

由于是小公司在资金和成本上都有所限制,而且在技术上也没有几个技术员接触过,所以这个方法自然就让大伙否决了。

这里说说我个人的理解!做集群不但添加资费的开销,而且在技术上也有很大的挑战,对于我们公司目前的情况是不大现实的。集群无非就是把一台服务器的压力转接到两台或是多台服务器上,我是这么理解的,也许我理解有误,还请大家指教。

2. 分而治之

这个方法和集群差不多,不过是把统计的代码放在不同的服务器上跑,由于公司有不少配置低的服务器跑几万到几十万IP还是没有问题的,我们可以把几百万流量分成十来个几十万的量分而统计。

优点:充分的利用了现在的资源,解决了目前的问题。

缺点:这样的方法不是长久之计,迟早还是会出问题的。而且在统计数据的时候比较麻烦。

3. 统计代码的修改

由于之前采用的是在插入数据之前加以判断,这个IP是否存在,来路等的处理,无形中增加了服务器的压力,所以大伙把统计代码改成来一个就插入数据库,不管三七二十一等以后在处理。

这个方法基本上把当天的数据保留下来了,可是在处理的时候由于数据量的庞大,来来回回还是把服务器跑死了,而且在插入的时候由于当时设计数据结构的时候留有的索引,也大大的消耗了不少的服务器资源。

那么把索引去掉到最后处理的时候又是老慢的,得不偿失。

时间: 2024-08-02 18:41:26

MySQL百万级高并发网站实战攻略的相关文章

百万级高并发网站MYSQL应用攻略

在长时间的网站开发过程中,能作一个百万IP的网站对我来说真是一个新的挑战,由于本人的水平有限,所以一直就职于一个小公司,在这里也只是抱着重在参与的想法.在以后我所讲述到的内容知识点上如有不适之处请大家多多批评指教. 在一开始接触PHP接触MYSQL的时候就听不少人说:"Mysql就跑跑一天几十万IP的小站还可以,要是几百万IP就不行了",原话不记得了,大体就是这个意思.一直也没有好的机会去验证这个说法,一是从没有接手过这么大流量的网站,二是平时工作也比较忙,懒得去管这些,反正现在用不着

淘宝客网站赚钱攻略之三

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 说到网站赚钱最近站长无疑关注最多的就属阿里妈妈的淘宝客了,所以前些天写了两篇淘宝客网站赚钱攻略,近段时间听说一些站长朋友们淘宝客网站流量是不少,几千甚至上万日IP,但是收入一天却只有几十元的现象,其实问题就出在各类细节上,如果把一些细节做好相信大家会进一步提高收入的,下面谈些关于新手做淘宝客网站细节方面的问题,话不多说下面直入主题了: 1.淘

淘宝客网站赚钱攻略之外链推广

中介交易 SEO诊断 淘宝客 云主机 技术大厅 说到淘宝客网站赚钱很多站长应该很熟悉了,相信一些站长每个月通过淘宝客这种形式也赚到过大把的银子,几个月前本人曾经写过几篇淘宝客网站赚钱攻略,可能一些站长看了后受到了一些启发,之后一直到现在每天都有很多站长要加我好友想要交流,今天给大家写一些关于做淘宝客网站外链的经验之谈. <淘宝客网站赚钱攻略浅谈> <淘宝客网站赚钱攻略之二> <淘宝客网站赚钱攻略之三> <谈淘宝客网站程序的选择> 说到外链大家都知道包括友情链

memcached在大负载高并发网站上的应用(一)---简介

大家可能对memcached这种产品早有了解,或者已经应用在自己的网站中了,但是也有一些朋友从来都没有听说过或者使用过. 这都没什么关系,本文旨在从各个角度综合的介绍这种产品,尽量深入浅出,如果能对您现在或以后的工作有所帮助,笔者将感到无比荣幸. 我要介绍的内容包括以下几个方面: 1.memcached的简介 2.memcached的应用场景 3.memcached的安装 4.memcached的使用 5.memcached的部署架构 6.memcached的局限性 7.memcached的改进

电商那些年,我摸爬打滚出的高并发架构实战精髓

一.关于高并发   高并发是指在同一个时间点,有很多用户同时访问URL地址,比如:淘宝的双11.双12,就会产生高并发.又如贴吧的爆吧,就是恶意的高并发请求,也就是DDOS攻击,再屌丝点的说法就像玩LOL被ADC暴击了一样,那伤害你懂的.   1 高并发会来带的后果  服务端:导致站点服务器/DB服务器资源被占满崩溃,数据的存储和更新结果和理想的设计是不一样的,比如:出现重复的数据记录,多次添加了用户积分等. 用户角度:尼玛,这么卡,老子来参加活动的,刷新了还是这样,垃圾网站,再也不来了! 我的

MySQL 百万级分页优化(Mysql千万级快速分页)_Mysql

以下分享一点我的经验 一般刚开始学SQL的时候,会这样写 复制代码 代码如下: SELECT * FROM table ORDER BY id LIMIT 1000, 10; 但在数据达到百万级的时候,这样写会慢死 复制代码 代码如下: SELECT * FROM table ORDER BY id LIMIT 1000000, 10; 也许耗费几十秒 网上很多优化的方法是这样的 复制代码 代码如下: SELECT * FROM table WHERE id >= (SELECT id FROM

千万级-高并发WEB设计问题,来自一个面试题

问题描述 高并发WEB设计问题,来自一个面试题 这是一个面试题,困扰我好长时间了. 有个网站首页,需要满足千万级小数据量用户访问,首页上包含如下几部分: 1 统计部分,全站统计,与具体用户无关,与已存储的数据有关 2 静态页面部分 3 个人统计部分,与当前登录用户用惯,与已存储的数据有关,个人统计数据很少 4 数据部分,与具体内容无关,与已存储的数据有关.数据很少 要求: 1 满足千万级用户访问 2 前端可以负载,可以集群,可以异步 3 后端存储可以是DB,可以是内存,也可以是其他 4 技术 架

memcached在大负载高并发网站上的应用(二)---应用场景

写这篇文章之前,我也特意跟以前的同事做了一些交流,在此感谢sina xiangdong.kingsoft zhangyan和yahoo luke.另外,还有网上的朋友对我上一 节的文章发表了许多有建设性评论,在这里一并感谢. memcached最吸引人的地方主要在于它的分布式.分布式对于互联网应用来讲 ,按照用途基本上可划分为三种方式:分布式计算.分布式存储和两者兼而有之 .memcached是分布式存储的一种.我们常见的分布式存储大多数是将N台设备( server或者单独的存储)构建成盘阵,而

用动态网页技术PHP打造个人网站全攻略

这里和大家交流一下用动态网页技术PHP来架设个人网站的经验.不妥之处,敬请指正! 一 编辑调试环境 win98本地编辑调试,爽不爽?先下一个Omnihttpd Proffesinal V2.06 ,装上就有PHP4beta3可以用了.如果你较懂HTML,推荐用EditPlus,相当好哦!否则只好用DreamWeaver先了.还要连数据库?幸好MySQL还有For WIN32的版本. 二 先来一个计数器 自己的计数器总比外来的好,敝帚自珍嘛!时下介绍的计数器源代码总是那种刷新一下就长,不免有些自欺