如果你还在停服迁移数据,那你就out啦!!

简介

数据库迁移是系统发展各个阶段,都会遇到的问题。例如数据库压力达到瓶颈需要拆分,业务系统需要迁移上云,测试数据构造等。很多数据库都提供了原生的迁移工具,例如MySQL的mysqldump,SQLServer的SSMA,Oracle的imp/exp。然而这些工具都只能进行全量数据拷贝,为了保证迁移数据一致性,要求业务在数据迁移之前需要停止服务。所以,这种传统的迁移方案对业务影响极大。为降低数据迁移门槛,阿里云数据传输DTS推出不停服迁移功能。使用不停服迁移功能,可实现整个数据迁移过程,业务停服时间降低到分钟级别

传统数据库迁移流程

本小节简单介绍传统全量迁移方案的整个数据迁移流程。
_

如上图所示,传统数据库迁移流程包括以下几个步骤:
(1) 应用停止服务
(2) 使用工具开始进行数据迁移
(3)启动应用,重新提供服务

所以,整个数据迁移过程当中,应用需要全程停服。如果数据量比较大的情况下,整个应用停服时间可能高达几个小时甚至数天,这对应用影响极大。

不停服数据库迁移流程

本小节简单介绍数据传输DTS提供的增量迁移方案的整个数据迁移流程。
_

如上图所示,数据传输DTS提供的不停服迁移流程包括以下几个步骤:
(1) 使用DTS,配置数据迁移任务
(2) 迁移任务进入增量数据同步阶段时,当增量数据追平后,将源库应用停服,数据同步快速追平后,将业务切换到目标数据库,启动业务开启服务

所以,整个数据迁移过程当中,应用只需要在要切换之前停服,停服时间降低到分钟级别,极大得降低了数据迁移对业务的影响。

不停服数据库迁移技术原理

本小节简单介绍数据传输DTS提供的不停服迁移的实现原理。

_

如上如所示,DTS在全量迁移之前,会先在后台启动一个增量日志拉取及解析程序。这个程序会实时获取源数据库在全量迁移过程中产生的任何增量日志,解析并将其封装为DTS自己的数据格式存储在本地存储系统中。当全量迁移完成后,增量数据回放模块,会去拉取模块中读取存储的增量日志数据,然后通过解析、过滤、封装等步骤,最终拼装成要回放的SQL语句,回放到目标数据库,从而实现源数据库同目标数据库之间的增量数据实时同步。

小结

不停服迁移功能是阿里云数据传输DTS提供的低门槛数据迁移方式。目前可以实现MySQL、SQLServer、PostgreSQL的不停服迁移,未来DTS还将提供Oracle、MongoDB、Redis的不停服迁移功能。立即体验 >>

不停服迁移功能只是数据传输DTS提供的一种迁传输方式,除数据迁移之外,数据传输还提供了数据实时同步,实时数据订阅等多种传输能力,通过数据实时同步可以实现数据异地灾备 ,加速跨境业务访问速度 ,打通oltp->olap数据通道 等场景。通过数据订阅可以实现轻量级缓存更新 、核心业务异步解耦 等业务场景。如需了解数据传输更多详情,请猛击数据传输

weixin_34259232
关注 关注
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Redis和数据库保持数据一致性方案
weixin_58724261的博客
06-26 2961
使用RabbitMQ中间件,在数据发生更新后发一条消息到MQ,缓存服务监听MQ消息更新缓存。由于消息需要经过MQ,会有一定的延迟,所以是延时一致。
Redis高效、安全的不数据迁移方案
最新发布
让每个人用好数据和云
09-12 3405
现在,NineData 在支持业务不中断的前提下,实现了配置简单、稳定、高效、安全的数据迁移服务,很好地满足版本升级、扩容、缩容等场景下对数据迁移和同步的需求。到此,我们就完成了一个高效、安全的 Redis 迁移任务的配置,当完成配置并启动任务后,NineData 会自动启动全量复制及增量复制过程,实现全自动化的数据迁移。,在不影响业务的前提下,提供了高效、稳定、安全的迁移能力。结合新型断点、异常诊断及丰富的修复手段,对于迁移过程中可能出现软硬件故障,提供完善的容灾能力,大大提高了迁移的成功率。
Redis数据一致性问题的三种解决方案
勤劳的小琪
05-16 3187
无论是更新缓存还是删除缓存,在同时操作缓存和数据库时,都无法保证两者都能一次性操作成功,所以我们最好的办法就是重试,这个重试并不是立即重试,因为缓存和数据库可能因为网络或者其它原因服务了,立即重试成功率极低,而且重试会占用线程资源,显然不合理,所以我们需要采用异步重试机制。如果只有第一步执行成功,而第二步失败,那么只有缓存中的数据被删除了,但是数据库没有更新,那么在下一次进行查询的时候,查不到缓存,只能重新查询数据库,构建缓存,这样其实也是相对做到了数据一致性。进行两次删除,且中间需要延迟一段时间。
[Redis]Redis数据库停服迁移
tzwsoho的专栏
10-25 1412
这篇笔记很久以前就想写出来,一直忘记就没写,现在放出来希望能帮到有需要的人。 由于工作关系,需要将服务器A的redis数据库迁移服务器B上,一开始是打算停服后再把rdb文件复制过去,但是这个方法显然对现有业务造成很大影响。网上查了一下,再结合自己的研究,发现其实是可以不停服迁移的,而且方法也很简单。 有两种情况,一种是服务器B中没有开启redis服务,可以新建一个配置文件,修改相关字段来实现...
机更换数据库解决方案
JavaEdge全是干货的技术号
01-02 2069
设计在线切换数据库的技术方案,首先要保证安全性,确保每一个步骤一旦失败,都可以快速回滚。此外,还要确保迁移过程中不丢数据,这主要是依靠实时同步程序和对比补偿程序来实现。上线同步程序,从旧库中复制数据到新库中,并实时保持同步;上线双写订单服务,只读写旧库;开启双写,同时止同步程序;开启对比和补偿程序,确保新旧数据库数据完全一样;逐步切量读请求到新库上;下线对比补偿程序,关闭双写,读写都切换到新库上;下线旧库和订单服务的双写功能。
Oracle数据迁移方案!!!.docx
09-08
Oracle数据迁移方案
Mycat2数据迁移工具-yugong免积分下载!
03-04
mysql数据迁移至Mycat工具,yugong,免积分下载!
如何在敏捷开发中做好数据迁移
03-03
数据迁移是指在系统软件开发中,将具有实际业务价值的数据,依据功能需求或系统开发的要求,在不同存储媒介、存储形式或计算机系统之间转移的过程。数据迁移是系统开发经常涉及到的一项工作。在企业级应用系统中,新...
收藏级!手把手教你迁移微信小程序到 QQ 浏览器 | 开发
03-29
用户在搜索框输入关键词后,相关小程序会在关键词智能推荐列表优先推荐,并直接展示相关内容。墨迹天气、腾讯翻译君等小程序已经成功入驻。 除此之外,QQ 浏览器小程序兼容适配了微信小程序,号称「只需三步」开发者...
mysql-online-migration:以最少的机时间将数据库迁移到新服务器,并且不会丢失数据完整性
06-02
mysql-在线迁移 以最少的机时间将数据库迁移到新服务器,并且不会丢失数据完整性。 在处理大型数据库系统时,有时需要将表从一台服务器移动到另一台服务器,并且中断最少。 此工具允许将大量数据作为 csv 文件导入,而无需锁定源表。 批量加载时对表的任何更改都使用触发器记录,然后可以针对新表重播。
分布式之数据库和缓存双写一致性方案解析
weixin_34321753的博客
05-18 949
引言 为什么写这篇文章? 首先,缓存由于其高并发和高性能的特性,已经在项目中被广泛使用。在读取缓存方面,大家没啥疑问,都是按照下图的流程来进行业务操作。 但是在更新缓存方面,对于更新完数据库,是更新缓存呢,还是删除缓存。又或者是先删除缓存,再更新数据库,其实大家存在很大的争议。目前没有一篇全面的博客,对这几种方案进行解析。于是博主战战兢兢,顶着被大家喷的风险,写了这篇文章。 正文 先做一个说明,...
Redis:主从同步保持数据一致
ghw15221836342的博客
06-01 1843
Redis:主从同步保持数据一致CAP原理Redis主从同步主从库的第一次同步主从全量复制时主库的压力主从库间网络断开连接?参考文献 在实际的业务开发中,很多公司都没有使用集群,但是都采用了主从同步,当master 挂掉的时候,运维让从库过来接管,服务就可以继续,否则 master 需要经过数据恢复和重启的过程,这就可能会拖很长的时间,影响线上业务的持续服务。 Redis如果发生了宕机,我们可以通过AOF日志和RDB文件的形式恢复数据,从而保证尽量少丢失数据来提升可靠性。但是如果服务本身不可用,在其恢复期间
【Redis】如何保证主从库的数据一致?
qq_41950508的博客
08-14 3335
本文主要是研究了Redis 的主从库同步的基本原理,关于全量复制、基于长连接的命令传播,以及增量复制。全量复制虽然耗时,但是对于从库来说,如果是第一次同步,全量复制是无法避免的小建议:一个 Redis 实例的数据库不要太大,一个实例大小在几 GB 级别比较合适,这样可以减少 RDB 文件生成、传输和重新加载的开销。另外,为了避免多个从库同时和主库进行全量复制,给主库过大的同步压力,我们也可以采用“主 - 从 - 从”这一级联模式,来缓解主库的压力。长连接复制是主从库正常运行后的常规同步阶段。...
redis数据一致性问题还稀里糊涂?看这篇就够了
Huangjiazhen711的博客
11-12 609
当我们使用Redis做缓存时,数据不一致问题是绕不过的问题。如果我们没有很好的处理数据一致性问题,就有可能影响用户体验,最严重的会造成业务损失。数据一致性的场景和解决方式都有哪些呢?让我们一探究竟。在Redis的缓存和数据库数据不一致问题上,可分为读写缓存和只读缓存来分析。读写缓存有同步写回策略和异步写回策略。采用同步写回能保证数据一致性,若数据一致性要求不是很高,可采用异步写回策略。先删除缓存,再更新数据库(不推荐):并发请求多的时候,容易产生缓存和数据库值不一致的情况。
Day732.数据同步:主从库如何实现数据一致 -Redis 核心技术与实战
阿昌爱Java
09-07 680
学习了 Redis 的主从库同步的基本原理全量复制基于长连接的命令传播增量复制全量复制虽然耗时,但是对于从库来说,如果是第一次同步,全量复制是无法避免的,所以,一个小建议:一个 Redis 实例的数据库不要太大,一个实例大小在几 GB 级别比较合适,这样可以减少 RDB 文件生成、传输和重新加载的开销。另外,为了避免多个从库同时和主库进行全量复制,给主库过大的同步压力,也可以采用“主 - 从 - 从”这一级联模式,来缓解主库的压力。长连接复制是主从库正常运行后的常规同步阶段。
如何保证Redis与数据库数据一致性
m0_67391683的博客
08-28 8473
这里可以结合使用canal(阿里的一款开源框架),通过该框架可以对MySQL的binlog进行订阅,而canal正是模仿了mysql的slave数据库的备份请求,使得Redis的数据更新达到了相同的效果。这样一旦MySQL中产生了新的写入、更新、删除等操作,就可以把binlog相关的消息推送至Redis,Redis再根据binlog中的记录,对Redis进行更新。1.如果删除了缓存Redis,还没有来得及写库MySQL,另一个线程就来读取,发现缓存为空,则去数据库中读取数据写入缓存,此时缓存中为脏数据。..
redis跨服务迁移数据
王德昌的博客
10-25 9856
https://pan.baidu.com/s/1cUh4dZqC-pfyzIJ6pEVFyA
redis不停服数据迁移
07-12
对于 Redis 数据迁移而言,可以采取以下几种方式实现不停服: 1. 主从复制(Replication):在新的服务器上启动一个 Redis 实例作为从服务器,然后将原来的服务器设置为主服务器。通过主从复制,数据会实时同步到新...

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
写文章

热门文章

  • 流氓软件“实名制” 午夜影院乔装正规军 374542
  • 路由器子接口及VLAN配置 10702
  • IDEA如何刷新pom文件 9198
  • Python字典的json格式化处理(换行与不换行) 8681
  • productionSourceMap: false 8533

最新评论

  • productionSourceMap: false

    daze_scarecrow: 对啊,不生效

  • 为何前端要使用框架?(小白向)

    南瓜虫: 因为很多小白直接对接底层,写不好程序,用别人的框架能起到矫正的作用。你是高手,直接对接底层写就行了。

  • productionSourceMap: false

    4258: 不生效..

  • IDEA支付宝小程序开发流程——项目搭建

    Tisfy: 正如大音希声扫阴翳

最新文章

  • 转载--- 写给Node.js学徒的7个建议
  • matlab练习程序(开操作)
  • leetcode每日刷题计划-简单篇day14
2019年381篇
2018年699篇
2017年941篇
2016年516篇
2015年436篇
2014年349篇
2013年289篇
2012年246篇
2011年189篇
2010年141篇
2009年118篇
2008年93篇
2007年65篇
2006年45篇
2005年20篇
2004年4篇

目录

目录

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值

深圳SEO优化公司宁波百度网站优化哪家好仙桃模板推广哪家好锦州网络营销哪家好大庆网站优化排名价格焦作外贸网站制作报价宁波SEO按天扣费哪家好长春优秀网站设计南通seo排名推荐漳州建站报价塔城企业网站制作临猗外贸网站制作推荐蚌埠设计公司网站多少钱邯郸seo哪家好濮阳优秀网站设计报价开封网站seo优化多少钱张掖设计网站推荐海口网站推广系统多少钱保定SEO按天计费价格百色阿里店铺托管推荐马鞍山seo网站优化哪家好松原百度网站优化推荐中山外贸网站设计报价鄂州seo网站优化哪家好淮北外贸网站制作报价大浪网站开发推荐重庆网站seo优化价格楚雄模板推广报价铜仁seo公司白山网站改版报价大运网站排名优化多少钱歼20紧急升空逼退外机英媒称团队夜以继日筹划王妃复出草木蔓发 春山在望成都发生巨响 当地回应60岁老人炒菠菜未焯水致肾病恶化男子涉嫌走私被判11年却一天牢没坐劳斯莱斯右转逼停直行车网传落水者说“没让你救”系谣言广东通报13岁男孩性侵女童不予立案贵州小伙回应在美国卖三蹦子火了淀粉肠小王子日销售额涨超10倍有个姐真把千机伞做出来了近3万元金手镯仅含足金十克呼北高速交通事故已致14人死亡杨洋拄拐现身医院国产伟哥去年销售近13亿男子给前妻转账 现任妻子起诉要回新基金只募集到26元还是员工自购男孩疑遭霸凌 家长讨说法被踢出群充个话费竟沦为间接洗钱工具新的一天从800个哈欠开始单亲妈妈陷入热恋 14岁儿子报警#春分立蛋大挑战#中国投资客涌入日本东京买房两大学生合买彩票中奖一人不认账新加坡主帅:唯一目标击败中国队月嫂回应掌掴婴儿是在赶虫子19岁小伙救下5人后溺亡 多方发声清明节放假3天调休1天张家界的山上“长”满了韩国人?开封王婆为何火了主播靠辱骂母亲走红被批捕封号代拍被何赛飞拿着魔杖追着打阿根廷将发行1万与2万面值的纸币库克现身上海为江西彩礼“减负”的“试婚人”因自嘲式简历走红的教授更新简介殡仪馆花卉高于市场价3倍还重复用网友称在豆瓣酱里吃出老鼠头315晚会后胖东来又人满为患了网友建议重庆地铁不准乘客携带菜筐特朗普谈“凯特王妃P图照”罗斯否认插足凯特王妃婚姻青海通报栏杆断裂小学生跌落住进ICU恒大被罚41.75亿到底怎么缴湖南一县政协主席疑涉刑案被控制茶百道就改标签日期致歉王树国3次鞠躬告别西交大师生张立群任西安交通大学校长杨倩无缘巴黎奥运

深圳SEO优化公司 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化