高性能MySQL的前端 Vtocc

问题描述

Vtocc 是 vitess 的首个可用的产品,它作为 MySQL 的前端提供一个 RPC 接口接收 SQL 语句并对这些语句进行转换。提供高效的多路大规模的数据库**作请求,超过10k+的并发处理能力。同时提供一个 SQL 解析器可以让服务器理解并智能的对查询进行优化。Vtocc 已经在大规模的产品环境中使用,它是 YouTube 新的 MySQL 服务架构的核心。示例代码:from vtdb import vt_occ2 as dbconn = db.connect('localhost:6510', timeout=5, dbname='mydb')curs = conn.cursor()curs.execute('select * from mytable limit 5', {})print curs.descriptionfor v in curs: print vprint curs.rowcount主要功能:A Python DBAPI 2.0 兼容的客户端接口 (vt_occ2.py)理解各种基于 ** 和 TCP 的协议支持查询变量以及查询缓存,可避免重复的 SQL 解析以及重用查询计划连接池事务**,可限制并发事务数和**事务失效DML 注解: 每个 DML 将被重写并在结尾包含一个注释字段以标识出修改的行记录内置故障保险Query 合并: The ability to reuse the results of an in-flight query to any subsequent requests that were received while the query was still executing.可限制查询结果数,如果超出则报错可删除一些超长的事务可删除一些时间太长的查询自动清理空闲连接Vtocc 的模块:**://static.oschina.net/uploads/img/201203/04095004_RX5O.png

解决方案

楼上的稍等啦static/image/common/sigline.gif90%打工小伙一生都不可能知道的秘密 http://67177.miyue999.com/

时间: 2024-09-17 07:13:45

高性能MySQL的前端 Vtocc的相关文章

高性能Mysql主从架构的复制原理及配置详解(转)

温习<高性能MySQL>的复制篇. 1 复制概述       Mysql内建的复制功能是构建大型,高性能应用程序的基础.将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的数据复制到其它主机(slaves)上,并重新执行一遍来实现的.复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器.主服务器将更新写入二进制日志文件,并维护文件的一个索引以跟踪日志循环.这些日志可以记录发送到从服务器的更新.当一个从服务器连接主服务器时,它通知主服务器从服务器

高性能Mysql主从架构的复制原理及配置详解

1 复制概述       Mysql内建的复制功能是构建大型,高性能应用程序的基础.将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的数据复制到其它主机(slaves)上,并重新执行一遍来实现的.复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器.主服务器将更新写入二进制日志文件,并维护文件的一个索引以跟踪日志循环.这些日志可以记录发送到从服务器的更新.当一个从服务器连接主服务器时,它通知主服务器从服务器在日志中读取的最后一次成功更新的位置.

高性能mysql主存架构

原文:高性能mysql主存架构 MySQL Replication(Master与Slave基本原理及配置) 主从mysql工作原理: 1:过程: (1)Mysql的复制(replication)是一个异步的复制,从一个Mysql节点复制到另一个Mysql节点.实现整个复制操作主要由三个进程完成的,其中两个进程在Slave(Sql进程和IO进程)另外一个进程在 Master(IO进程)上. (2)要实施复制,首先必须打开Master端的binary log功能,否则无法实现.因为整个复制过程实际

【首发】Velocity大会主题分享《高性能MySQL》

0.导读 有幸受邀参加O'Reilly Velocity China 2016 Web 性能与运维大会,做了<高性能MySQL>的主题分享. 1.分享PPT 本次分享的keynote文档已上传到百度云盘: https://pan.baidu.com/s/1bpcKfP9,欢迎转存及转发哈. 介绍从硬件到操作系统.MySQL参数选项再到SQL开发设计,如何让MySQL保持高性能,主要内容有: 1.  MySQL性能瓶颈定位分析 确定MySQL层瓶颈 确定系统层瓶颈 确定硬件层瓶颈 2.  优化M

【MySQL】如何构建高性能MySQL系统

一 简介     最近在压测新的存储,正好把工作过程中积累的对高性能MySQL相关的知识体系构建起来,做成思维导图的方式.总结乃一家之言,有不妥之处,望给位读者朋友指正. 二 思维导图    构建高性能MySQL系统涵盖从单机 硬件,os ,文件系统,内存,到MySQL 本身的配置,以及schema 设计,索引设计 ,再到数据库架构上的水平和垂直拓展.   说明     1 IO相关的优化可能还不完整,以后会逐步完善.     2 关于数据库系统水平和垂直拆分是一个比较大的命题,这里略过,每个公

低成本和高性能MySQL云数据的架构探索

原文地址:http://www.alibabatech.org/article/detail/3405/0?ticket=d69f07f8-b60b-43f8-9572-7d795bb8429d 作者:鸣嵩 PPT这里下载: 该文已在<程序员>2012年10期上发表. MySQL作为一个低成本.高性能.可靠性好而且开源的数据库产品,在互联网企业应用非常广泛,例如淘宝网有数千台MySQL服务器的规模.虽然近两年来NoSQL的发展很快,新产品层出不穷,但在业务中应用NoSQL对开发者来说要求比较高

《高性能MySQL》第三版

本文是一篇写给<HPM 3rd 中文版>的软文,慎入.<HPM 3rd 中文版>已经开始正式发售了,不是预售:亚马逊 china-pub 当当网 从去年5月开始,与宁海元.翟卫祥.彭立勋.刘辉一起利用业余时间,经历了翻译,校对,校对,再校对,交叉校对,再交叉校对,到前两天亚马逊上正式开售(不是预售了),前前后后也历经了大概一年. 在过去的两三年,MySQL的生态圈发生了很大的变化,出现了MariaDB,Percona/XtraDB等等分支,与官方的版本产生了一些竞争.目前为止这些竞

高性能mysql学习笔记总结

(架构及历史) Mysql逻辑架构 如果能在脑中有个Mysql各组件如何协同工作的架构图,这会很有助于我们了解Mysql服务器. Mysql逻辑架构图 最上层连接/线程处理这里,处理连接.授权和安全. 第二层是解析器.查询缓存.优化器这三部分.处理查询解析.分析.优化.缓存以及所有内置函数.所有跨存储引擎的功能(存储过程.触发器.视图). 第三层就是存储引擎了.服务器通过API与各种存储引擎交互,这些接口屏蔽了不同存储引擎的差异. 另外Mysql还有各方面的特性,包括:执行与优化.并发控制.读写

MySQL查询缓存 --《高性能MySQL》读书笔记

        Query Cache(QC)         缓存完整的Select结果,当查询命中该缓存,MySQL会立刻返回结果,跳过解析.优化和执行阶段. 1.如何判断缓存命中         缓存存放在一个引用表中,通过哈希值引用.哈希值包括查询本身.待查数据库.客户端协议版本等可能影响返回结果的信息. 注: 当表被lock tables锁住时,仍可以通过查询缓存返回数据. 任何字符不同(包括空格.注释)都会导致缓存的不命中. 不会被缓存:①查询语句包含不确定数据(如函数now().c