DRS是啥你都不知道?不是吧,不是吧

前言

最近写了许多数据库相关的文章,人人基本上对数据库也有了许多的领会,数据库自己有所领会了,我们是不是应该回归营业自己呢?

人人去领会过自己企业数据库的部署方式么?是怎么部署的,又是部署在那里的?部署历程中可能会泛起的问题有哪些?

是主从?照样双主?有没有分库?大的表做了分表没?等等…部署方式大概率也都是分库的,表数量级超万万基本上都最先分表了,思量周全的企业,一定也有数据库的冷备,热备,灾备,以及异地容灾等等。

我还记得我大学做项目,学校就是买了许多物理机,我们的项目和数据库都是部署在自己内部的服务器上的,那家伙一到炎天风我嗡嗡嗡的吹,烦死了,机房还很热。

DRS是啥你都不知道?不是吧,不是吧

然则我敢赌博,人人现在所在的企业,大概率都是使用了种种云服务厂商的服务部署方式,那就引入了今天的第一个思索。

为什么数据库要上云呢?

我们公司的大多数服务以及数据库都是在对应的云服务厂商的,那问题就来了,为啥都要上云呢?

在思索这个问题的时刻,我第一时间想到了反证法,不上云的坏处是啥?

DRS是啥你都不知道?不是吧,不是吧

  1. 成本

DRS是啥你都不知道?不是吧,不是吧

相较于传统服务器需要购置、租用的方式,云服务器接纳即用即收费的方式,削减购置成本,天真扩展的容量可以按自己需求来定,不用前期估量需要用若干。

我之前所在的电商流动团队,每次到了大促我们就去租赁云服务厂商的流量机,等流动竣事就还回去,真的就是成本最大化了,而且照样凭据你的使用流量计费。

若是人人照样使用自己购置的服务器,那这个时刻岂非去暂且采购么?虽然我知道百度就是在某年春节流动的时刻采购了N多物理机,然则性子纷歧样,他们是能最大化行使这些服务器的,他们甚至可以开发云服务自己做云服务厂商,实际上他们确实也这么做了。

  1. 性能

DRS是啥你都不知道?不是吧,不是吧

云服务器实现了硬件上的隔离以及宽带上的独享,不受到地域、流量等的限制,可以连续的举行营业交流,不会因中止影响效果。

若是人人照样使用物理机,那去运营商迁专线的带宽成本,另有物理机性能的问题也纷歧定能更上。

由于现在成本问题,你们公司买了许多低配的服务器,然则突然你们营业体量几何增进,怎么办?继续买高配的?显然不是很合适。这谁顶得住啊?

  1. 治理

DRS是啥你都不知道?不是吧,不是吧

云服务器可以实现远程同步治理,共享,种种营业的备份。传统服务器需要在某一网络区域内,有可能受到网络影响导致资料缺失。

上面我提到的冷备,热备,灾备实在我们购置的服务器都能做的,然则放着一个不知道什么时刻才气用到的服务器在那,真的很虚耗。

而且也有他做不到的,好比灾备,若是你公司在震区,要是还用物理服务器,基本上即是自杀,发送自然灾害的时刻全球的用户都无法访问你,交给服务厂商就纷歧样了,他们选址很有讲求的,而且在各个地方都确立自己的数据中心,保证了高可用。

  1. 平安

DRS是啥你都不知道?不是吧,不是吧

为了保证云平台的可靠性,云服务平台公司一定会投入大量的功夫,有一套可靠的平安保障系统,平台使用者不必忧郁平台稳固性、平安性问题。

物理机一旦高权限的所有者使坏,基本上都是不能恢复的灾难,虽然云服务也一样,然则合理使用,和适当的权限收敛,完全可以做到更高级别的平安的。

微盟事宜人人也知道,若是提前做好种种全量,增量备份实在就没什么大问题的,再者就是权限收敛问题,我司在对应的数据库服务器上是禁用了rm -rf 、fdisk以及drop这样的极端操作的。

所有数据库的查询更是自己的组件查询,连update都无法操作(只能靠代码)。

若是照样使用物理机,就需要自己去维护,升级打补丁,很难保证不被黑客入侵,之前我就遇到过服务器补丁打迟了,导致被黑客攻击,挟制拿去挖矿了,而云服务厂商的平安系统都是实时更新的。

小结:没有特殊情形,能用云产物就直接用云产物,由于云产物提供的不仅仅是产物能力,最要害的是要害时刻的容灾、应急和服务能力,这些能力,并不是所有公司都能完整建设一套,甚至是许多公司想都想不到的。

到目前为止,虽然各大云厂商包罗他们的产物,都另有这样那样的问题,然则从系统上,云仍然是最完善,最规范的,直接一点讲,比99%的公司做的都要好。

上云需要思量的问题

这里很有意思,我在写这个文章的时刻,我司正在做部门营业上云,以及云迁徙这样的营业,这让我遐想到了许多有意思的事情。

我们现在是从某云迁徙到华为云,我想人人也会与这样的场景,然则这样迁徙会带来一些什么样的问题呢?不知道人人思索过没?

实在从内陆到云,或者从云到云,要思索的点估计是差多的,那我先抛出一些问题,看下这些问题华为云服务厂商是怎么解决的。

  1. 迁徙失败:数据迁徙失败怎么办
  2. 数据丢失:怎么判断迁徙后数据是否完整
  3. 营业中止:迁徙到一半遇到不能抗力怎么办
  4. 数据、传输加密:数据传输历程中怎么加密,防止被不法之徒中途获取数据
  5. 热切换:怎么做到一直服切换,以及数据源切换历程中的数据一致性

这些问题是我们不得不思量的,人人是不是以为迁徙多简朴,那我想问一下,假如是订单库呢?大一点的电商每一秒,甚至是每一毫秒都是有订单的,哪怕是破晓,别问我为什么知道咳咳。

那你一定不能停服去迁徙数据库,你需要一边迁徙一边接受新的数据,这个时刻就需要一些技巧了,不知道redis字典的rehash人人知道么?

rehash

在需要扩容的时刻,redis会新建一个hash字典,这个时刻老的住手吸收数据,新数据放到新的字典,同时逐步把老数据拿过来,实在这个头脑,在数据库迁徙也是可以用的,然则数据库的操作,往往都是基于数据的,并不是都是增量。

DRS是啥你都不知道?不是吧,不是吧

那简朴,做点取巧的操作也可以,那云厂商的已经把我上面提到的所有问题都一定思量过了,我接触的是华为云,华为云使用了DRS(Data Replication Service 数据复制服务)做数据库迁徙的事情,他怎么做的呢?

DRS:数据复制服务(Data Replication Service,简称为 DRS)是一种易用、稳固、高效,用于数据库在线迁徙和数据库实时同步的云服务。 DRS 围绕云数据库,降低了数据库之间数据流通的复杂性,有效地帮助您削减数据传输的成本。

人人可能会好奇,为啥不自己去实现数据迁徙,要用别人的组件呢?实在车轮子这个,若是你没更好的思绪你照样用别人写好的就好了,你能比得过专业团队的研发效果嘛?

不外手艺背后的实现,解决的问题照样需要我们去体贴的,否则DRS什么都帮我们做了,我们动动鼠标就解决了,你怎么获得收获呢?这才是今天探讨的重点。

我说一下用车轮的利益吧:降低成本,降低手艺门槛、降低风险

  • 人力成本时间成本,都是很昂贵的,若是一个现成的东西都帮我们做了,我们还去开发干嘛?再者,我信赖大部门公司照样没专门的DBA的,然则车轮子在了,我们开发也能去做迁徙这样的事情了,不是嘛?我们传统手艺迁库耗时耗力不说了,失败率是真的高,另有数据对比等等,很头疼,我之前东家数据库迁徙都是午夜,搞一晚上,天亮都纷歧定搞好了,要是没好,用户上线了,还的暂停。

不外即使是使用了工具,一个数据库完整的迁徙流程却照样应该很严谨的,人人可能会疑惑再严谨能有多严谨?给你看个图你就知道了:

强连通分量

DRS是啥你都不知道?不是吧,不是吧

华为云的DRS的在线迁徙怎么做的呢?

DRS是啥你都不知道?不是吧,不是吧

可以看到,迁徙图中是使用到了VPN,这个的作用主要就是保住一个高速稳固的传输,以及传输数据的加密,万一你同步的历程被其他对手公司抓到,那?在文章后面,你可以看到华为云DRS是怎么做的网络平安,我做了一次完整的迁徙实战,而且做了总结。

迁徙实战

他迁徙很简朴,都有教程,我用过一遍,大致步骤如下:

DRS是啥你都不知道?不是吧,不是吧

迁徙作为一个特殊时期,营业配合、人为配合是最要害的,部门操作一定要规避,好比说常见的:

  • 不能将源数据库日志强制清算掉
  • 不能将用于毗邻源数据库的用户密码修改掉、或者删除掉
  • 不能将表长时间锁定,导致外部都无法查询该表

他在迁徙之前可以做一个迁徙预检查,从官方文档来看,都是对过往迁徙案例总结出来的检查步骤,可以让迁徙乐成有更好的保障,这点挺好可以在迁徙前夕找出问题所在,我也失败过,是由于环境问题,都给了很明确的指示。

DRS是啥你都不知道?不是吧,不是吧

人人不知道思索过没,就是数据迁徙了,然则若是数据库的设置没迁徙那也是很贫苦的,若是一个迁徙工具能够做到把DBA设置的好的User权限迁徙了,以及我们设置的种种触发器,数据库字符集设置都迁徙了,那才是我理想的一个迁徙工具,是的华为云DRS做了,这就是对照优异的点了,真的省了许多功夫。

特别是对于数据库种种设置并没那么领会的开发来说,这功效确实是很福利了,而且另有性能参数,类似种种buffer巨细,cache巨细等等他都能迁徙,甚至可以做到流控,还可以随时改变流控就更优异了:

DRS是啥你都不知道?不是吧,不是吧

迁徙模式多样化,这是我准备最先迁徙的第一感受,我上面提到过,若是不能增量迁徙将毫无意义,DRS照样想到了,这让我以为似乎有点暖,说着说着我的眼角又湿润了…

由于大部门的场景我们都是线上营业的一直服迁徙,在迁徙历程中,照样不停的有增量数据在涌入的,敖丙之前所经历过的数据库迁徙基本上也都是全量+增量的迁徙模式,全量的场景只存在内部系统,或者离线数据等。

DRS是啥你都不知道?不是吧,不是吧

实在这里的手艺焦点就在于怎么去保证增量的数据也能保证不丢失准确的迁徙,我猜是通过binlog同步的,我看了下他的文档,日志,果真被我猜对了。

DRS是通过全量迁徙历程完成历史数据迁徙至目的数据库后,增量迁徙阶段通过捕抓日志,应用日志等手艺,将源端和目的端数据库保持数据一致,这里的保持一致后面也会提到,他提供了完整的数据对比功效。

迁徙历程很简朴,进度完全可以看到,数据的延迟也可以很直观的看到:

DRS是啥你都不知道?不是吧,不是吧
DRS是啥你都不知道?不是吧,不是吧

迁徙竣事之后,DRS提供了数据对比,实在数据对比以前我做迁徙的时刻,我们都是通过对比数据库行数去做的,由于没这样的迁徙工具,我发现了很暖心的一点就是内容对比,这一点让我很惊喜,由于行数的对比照样不够严谨,修改的日志若是缺失行数的对比也是没用的。

DRS是啥你都不知道?不是吧,不是吧 img
DRS是啥你都不知道?不是吧,不是吧 img

守候对比完成,点击“查看对比报表”,可以领会对比详情,详情页面如图所示:

DRS是啥你都不知道?不是吧,不是吧

上面提到的网络平安问题,我也在DRS找到了谜底,他们会使用特定的加密协议举行数据传输,还可以用特定的VPN挂载网络传输:

DRS是啥你都不知道?不是吧,不是吧

DRS还做了迁徙监控,可以看到实时进度,让整个迁徙进度对照可视化,中心的异常也一目了然,说实话工具真的就是香,以前想都不敢想,我们熬夜就生怕一个环节失足,而且经常照样后知后觉的,可视化的流程会你对迁徙有一种掌控感。

DRS是啥你都不知道?不是吧,不是吧

迁徙完成:

DRS是啥你都不知道?不是吧,不是吧

从我最先迁徙到竣事,整个流程实在不到2小时,这个放在以前是不敢想的,这波体验我是很满足的,让我一个开发就做到了以前DBA才气做的事情,说着说了旁边的DBA的眼角也湿润了….

小结

整个体验我以为是很不错的,我总结几个我以为DRS怪异的设计和使用场景:

  1. 迁徙限速,凭据限制时间段设置迁徙速率上限

应用场景:

  • 有些流量型app,好比游戏厂商等客户, 迁徙时源数据库的公网、VPN不能打满(打满将影响其对外营业,或者影响共用VPN 带宽)

  • 有些营业负载较重,或着客户无法接受 营业时间应用程序由于迁徙带来分外负载

  1. 用户迁徙(权限、密码、 definer),完整继续源权限系统

应用场景:

  • 市面上的迁徙产物均不支持用户的迁徙, 也就是说若是用户没有注重,或者不懂用户迁徙,那么迁徙后营业一定报错, DRS提供了全套的用户权限继续设计, 可以将权限、密码、definer保留迁徙至目的数据库,确保迁徙后权限平安、营业稳固,可以让不熟悉数据库的客户迁徙时,仍然可以完成一场精致的、高质量的数据库迁徙。
  1. 参数对比,迁徙后营业稳固

应用场景:

  • 市面上的迁徙产物均不支持参数的迁徙,而数据库参数纷歧样,这将直接导致营业程序 运行报错(举个简朴例子session数迁徙后变小了),DRS选定了营业和性能强相关要害的参数,避免了这些参数后续由于没有继续源环境设置,而导致营业报错或性能下降, 可以让不熟悉数据库的客户迁徙时,仍然可以完成一场精致的、高质量的数据库迁徙。
  1. 数据校对平台,割接好副手

应用场景:

  • 市面上的迁徙产物均不支持数据的对比,校对事情留给用户测,DRS提供了厚实的对比功效:

  • 工具对比

  • 数据级对比

  • 对比可准时,可取消

    行使对比准时义务,可以选择破晓等营业低峰期 举行数据一致性对比,第二天可以查看数据对比效果,对于迁徙情形做到完全掌握。 可以让不熟悉数据库的客户迁徙时,仍然可以完成一场精致的、高质量的数据库迁徙。

  1. 触发器、事宜的迁徙

应用场景:

  • 市面上的迁徙产物均不支持触发器、事宜的迁徙,醒目迁徙的用户关注这些细节,因 为触发器和事宜也是数据库的一部门,触发器和事宜存在要害的营业逻辑,这些工具 不支持迁徙,营业一定报错,甚至造成不能挽回的损失。
  • 可以让不熟悉数据库的客户迁徙时,仍然可以完成一场精致的、高质量的数据库迁徙。

注:【部门图片泉源网络 侵删】

总结

实在给人人先容这样DRS的一个靠山和手艺,主要是希望跟人人跟我一起做一次完整数据迁徙,一起去探讨手艺背后的场景,以及场景背后我们应该有手艺思索。

不外这次体验真的,让我不得不感伤手艺的便捷性,以前数据库迁徙都是团队开发以及测试一个团队熬夜守着数据库迁徙,最后验证测试才气走的,所有人拖着疲劳的身躯看着升起的太阳,眼角都湿了…

现在我自己看看教程动动手指就完成了一场大规模的数据库迁徙演练,在享受手艺给我带来利便的同时,也让我对手艺背后的详细实现和人生的意义陷入了深深的思索。

或许这就是手艺的价值吧,或许这就是这么多工程师日日夜夜辛劳的意义吧,或许…

我是敖丙,你知道的越多,你不知道的越多,我们下期见!

原创文章,作者:28RU新闻网,如若转载,请注明出处:https://www.28ru.com/archives/16606.html