主页 > 快资讯 > 正文

DTCC2017〡腾讯云CDB的核弹头:TXSQL的研发、实践和未来(2)

2017-05-12 11:57来源:互联网   编辑:毛青青

扫一扫

分享文章到微信

扫一扫

关注99科技网微信公众号

  MySQL redo log是一个顺序写的单缓冲区,log_sys->mutex锁资源竟争激烈,在事务落盘的过程中对LSN相关的读、写都被阻塞,为了解决 log_sys->mutex的锁竟争问题,引入双缓冲区机制&w_mutex锁,在flush redo log 的过程中释放log_sys->mutex,继续持有log_sys->w_mutex,从而阻塞写,不阻塞LSN相关的读操作,flush完成后释放w_mutex;从而提升并发性,提升性能。

DTCC2017〡腾讯云CDB的核弹头:TXSQL的研发、实践和未来

  图3

  TXSQL性能数据对比

DTCC2017〡腾讯云CDB的核弹头:TXSQL的研发、实践和未来

  读性能数据对比

DTCC2017〡腾讯云CDB的核弹头:TXSQL的研发、实践和未来

  写性能数据对比

DTCC2017〡腾讯云CDB的核弹头:TXSQL的研发、实践和未来

  读写混合数据对比

  TXSQL功能开发

  在TXSQL并行复制方面,MySQL并行复制存在的问题:在实际的应用环境中,实例中往往只有一个 Database,导致 relay log 中的事务大部分会分到同一个 worker 线程中,造成备库的性能低下,当主库的性能超过备库的单线程执行的性能时,就会出现延迟,对只读实例产生影响。

  TXSQL并行复制存在的优化

  为了解决上述问题,TXSQL 添加了另外一种分发方式,即基于表粒度的分发,为了实现基于表粒度的分发,TXSQL 对于不同的实现,进行了不同的处理:

  当binlog_row_format= ROW 时, 调用 get_slave_worker 直接进行分发;

  当 binlog_row_format= statement 时,则需要对语句先进行调用 mysql_parse 对语句进行解析,然后再做分发。

  TXSQL强同步支持

  原生 semi-sync 存在着以下问题:

  semi-sync 在时间超过 rpl_semi_sync_master_timeout 会退化为异步;

  采用 select 进行监听,当句柄值大于 1024 时则会出现异常,详情可参考 bug#79865;

  在 after commit 后等待 ACK 容易出现幻读的问题;

  TXSQL 强同步支持:

  优化半同步,增加ack线程,收发并行化;

  修正select时fd超过1024导致异常的bug,改为poll;

  在半同步基础上实现强同步,一直hold住直到收到ack;

  修改同步方式时,唤醒正在等待的用户线程,继续等待或者退出;

  增加一些状态,用于展示当前等待的情况(正在等待的binlog位点,已等待时间);

  对于主多 binlog 备少 binlog 的情况进行特殊的处理,以保证双写的情况不会发生;

  TXSQL云上实践

  XX游戏数据库优化案例

  问题现象:性能不能满足业务要求,游戏业务逻辑 TPS 不达标;在压力达到一定程度时,CPU 不能充分利用,idle 较高;性能抖动较为明显; thread running 过高,系统负载较高;系统 IO 压力较小,IO 没有问题;

  问题排查:

  pt-pmp & pstack & mysql 命令进行问题排查,发现以下问题:

     投稿邮箱:jiujiukejiwang@163.com   详情访问99科技网:http://www.fun99.cn

相关推荐
腾讯调整薪酬和评级规则:升职与加薪脱钩,涨 腾讯调整薪酬和评级规则:升职与加薪脱钩,涨

原标题:腾讯调整薪酬和评级规则:升职与加薪脱钩,涨工资越来越难了? 5月

快资讯2022-06-01

腾讯新闻瞬间没了腾讯辟谣 确有人员调整正常运 腾讯新闻瞬间没了腾讯辟谣 确有人员调整正常运

原标题:腾讯新闻瞬间没了腾讯辟谣 确有人员调整正常运行中 近日,网络有流

快资讯2022-05-26

腾讯音乐 Q1 财报:在线音乐付费用户达 8020 万再 腾讯音乐 Q1 财报:在线音乐付费用户达 8020 万再

原标题:腾讯音乐 Q1 财报:在线音乐付费用户达 8020 万再创新高 5月17日消息,

快资讯2022-05-17

腾讯视频会员涨价 涨幅      达到25%  腾讯视频会员涨价 涨幅 达到25% 

原标题:腾讯视频会员涨价 涨幅 达到25% 【#腾讯视频会员涨价# 你是会员吗

快资讯2022-04-09

腾讯回应小鹅拼拼关停:业务调整,员工可集团 腾讯回应小鹅拼拼关停:业务调整,员工可集团

原标题:腾讯回应小鹅拼拼关停:业务调整,员工可集团内重新选择匹配岗位

快资讯2022-02-22

华为腾讯暗战“云端” 枯燥的云计算出圈 华为腾讯暗战“云端” 枯燥的云计算出圈

原标题:华为腾讯暗战云端 枯燥的云计算出圈 得益于大厂之间的明枪暗箭,枯

快资讯2022-02-17

怼腾讯后被标注永不录用本人回应 找工作没受阻 怼腾讯后被标注永不录用本人回应 找工作没受阻

原标题:怼腾讯后被标注永不录用本人回应 找工作没受阻即将入职 【#腾讯回应

快资讯2022-02-09

腾讯应届生公司大群怒怼管理层 认真反思尽快整 腾讯应届生公司大群怒怼管理层 认真反思尽快整

原标题:腾讯应届生公司大群怒怼管理层 认真反思尽快整改 【#腾讯回应应届生

快资讯2022-01-26

腾讯视频制片人张萌被移送公安 存在违反公司高 腾讯视频制片人张萌被移送公安 存在违反公司高

原标题:腾讯视频制片人张萌被移送公安 存在违反公司高压线行为 张萌,太难

快资讯2022-01-25

腾讯宣布 PAG 动画组件正式开源 腾讯宣布 PAG 动画组件正式开源

原标题:腾讯宣布 PAG 动画组件正式开源 1 月 14 日讯,2022 年 1 月 14 日,腾讯宣

快资讯2022-01-14