主页 > 快资讯 > 正文

DTCC2017〡腾讯云CDB的核弹头:TXSQL的研发、实践和未来

2017-05-12 11:57来源:互联网   编辑:毛青青

扫一扫

分享文章到微信

扫一扫

关注99科技网微信公众号

  5月11日,国内数据库技术盛会——2017第八届中国数据库技术大会(DTCC2017)拉开帷幕。本届大会以“数据驱动 价值发现”为主题,吸引5000多名IT数据库人群、大数据从业人员、广大互联网人士。腾讯高级工程师、腾讯云布道师张青林进行了题为《腾讯云CDB的核弹头——TXSQL》主题演讲。

DTCC2017〡腾讯云CDB的核弹头:TXSQL的研发、实践和未来
 
  嘉宾介绍:张青林,腾讯云布道师、MySQL架构师,隶属腾讯TEG-基础架构部-数据库内核研发团队,专注于MySQL内核研发&相关架构工作,有着服务多个10W级QPS客户的数据库优化及稳定性维护经验。

  在本次主题演讲中,张青林主要从概览、内核研发、云上实践、未来发展方向四个方面介绍了Tencent MySQL(TXSQL)在腾讯云发展过程中遇到的各种问题,以及在解决这些问题的过程中TXSQL内核所做的一系列优化,包括read_view优化、Lock_log拆分、分布式token锁、Redo log锁拆分、Binlog限速等功能,从功能、性能和稳定性上对TXSQL进行深入的解析。

  TXSQL内核版本拥有更高的性能、更强的稳定性,同时提供Oracle MySQL企业级版本才拥有的特性,对内支持集团内部业务的发展,对外提供强有力的竟争力,大大提升了腾讯云在业界的影响力,赢得了客户的信任与口碑,积极的推动了腾讯云的快速发展。

  TXSQL概览

  什么是TXSQL?为什么有TXSQL?

  TXSQL是Tencent MySQL的简称,是TEG基础架构部CDB(Cloud DataBase)团队在近十年发展过程中衍生出来的一个对MySQL内核源码深度定制、对官方MySQL版本进行二次开发的项目。其主要目的是在保证线上稳定性的同时,满足业务对数据库的各种需求。

  TXSQL的服务对象是公司内部用户和腾讯云上小至数G大至数百T的外部客户。TXSQL是支撑这些业务平稳运行的关键基石,促进开源数据库技术发展。

DTCC2017〡腾讯云CDB的核弹头:TXSQL的研发、实践和未来

  图1

  TXSQL内核研发

  TXSQL read view优化

  read view又称读视图,用于存储事务创建时的活跃事务集合。当事务创建时,线程会对trx_sys上全局锁,然后遍历当前活跃事务列表,将当前活跃事务的ID存储在数组中的同时,记录最大事务low_limit_id&最小事务 high_limit_id&最小序列化事务low_limit_no。

  当事务执行时,凡是大于low_limit_id的数据对于事务是不可见的,凡是事务小于high_limit_id的数据都是可见的,事务ID是read_view数组中的某一个时也是不可见的;Purge thread在执行Purge操作时,凡是小于low_limit_no的数据,都是可以被Purge的,read view是MySQL MVCC实现的基础。

  Redo log优化背景

  据介绍,MySQL有两种很重要的Log,分别为redo log&binlog,前者是保证事务原子性操作所产生的日志,后者是主备数据同步所产生的同步日志。其中binlog在ordered_commit时进行group commit,而redo log则是在事务提交的时候分别调用trx_prepare使redo log落地,导致log_sys->mutex竟争较为严重。

  从crash recovery的逻辑来看,只要redo log早于binlog落地,就不会有数据问题,因此在ordered_commit的第一阶段时,TXSQL会收集各种引擎的最大redo log LSN,然后将小于该LSN的redo log落盘,从而提升写性能。更详细的分析与测试,可以参考bug#73202。

DTCC2017〡腾讯云CDB的核弹头:TXSQL的研发、实践和未来

  图2

  TXSQL redo log双缓冲区

     投稿邮箱:jiujiukejiwang@163.com   详情访问99科技网:http://www.fun99.cn

相关推荐
腾讯云TACO-LLM加速模块,荣耀AI底座性能飞跃新高 腾讯云TACO-LLM加速模块,荣耀AI底座性能飞跃新高

在生成式AI技术飞速发展的浪潮中,手机行业正经历着前所未有的变革。各大手

快资讯2025-06-10

腾讯WeGame游戏之夜6月16日来袭,多款新游曝光试 腾讯WeGame游戏之夜6月16日来袭,多款新游曝光试

腾讯WeGame游戏之夜近日宣布,其备受瞩目的PC新游发布会将于6月16日晚上8点准时

快资讯2025-06-10

印尼GoTo集团千余个微服务,4小时54分平稳“迁云 印尼GoTo集团千余个微服务,4小时54分平稳“迁云

腾讯云近日宣布了一项重大成就,成功助力印尼GoTo集团旗下Gojek完成了东南亚迄

快资讯2025-06-05

微信朋友圈访客记录查看功能?腾讯客服:不存 微信朋友圈访客记录查看功能?腾讯客服:不存

近日,网络上流传一则消息,声称微信朋友圈已上线访客记录功能,并附有详细

快资讯2025-05-27

腾讯推出混元游戏视觉平台,打造工业级AIGC游戏 腾讯推出混元游戏视觉平台,打造工业级AIGC游戏

腾讯混元团队近日揭晓了一项重大创新:腾讯混元游戏视觉生成平台,一个专为

快资讯2025-05-20

QQ浏览器变身AI浏览器,腾讯QBot携双模型及多Ag QQ浏览器变身AI浏览器,腾讯QBot携双模型及多Ag

腾讯QQ浏览器近日迎来重大升级,正式迈入AI时代,这一变革性进展通过其官方

快资讯2025-05-19

腾讯AI战略成效初显,ToB业务成新增长点,订阅非 腾讯AI战略成效初显,ToB业务成新增长点,订阅非

原标题:腾讯AI战略成效初显,ToB业务成新增长点,订阅非主流商业模式? 腾讯

行业资讯2025-05-15

腾讯混元T1-Vision新升级,元宝功能让图片理解更 腾讯混元T1-Vision新升级,元宝功能让图片理解更

腾讯混元AI平台近期宣布了一项技术创新,其T1-Vision系统正式上线了名为“元宝

快资讯2025-05-12

腾讯员工工位曝光:个性十足,宽敞舒适引热议 腾讯员工工位曝光:个性十足,宽敞舒适引热议

腾讯内部员工工位照片曝光,办公环境引发热议。近日,一组由腾讯官方公众号

快资讯2025-05-12

腾讯元宝文生图大升级,混元DeepSeek双引擎助你一 腾讯元宝文生图大升级,混元DeepSeek双引擎助你一

腾讯元宝近日宣布了一项重大功能升级,其文生图功能现已全面支持混元和De

快资讯2025-05-08