同学们大家好,我是童年学院的北明老师,那么我们今天要讲的这道面试题是高兵法场景下面我们如何去保证我们接口的密点性? 那么我们首先给大家来普及一个概念,就是说什么是密等性啊?这个是我们百度百科的解释啊,就是说在我们编程里面以一个密等操作,它的特点是就是我们不论去执行多少次,它所产生的结果和我们执行一次其实它是一样的。那么在这种场景下面来说, 这个就是我们的密等性,那么我们密等性其实是在我们实际又场景里面也是经常能够碰到的一个,嗯,就比如说我们电商场景下面的下单,对吧? 嗯,不知道大家有没有遇到,就是在双十一这种场景大大家去下单的时候,嗯,会因为碰到一些网络问题,不断的去点那个提交按钮,那么如果我们没有去做这种密等操作 的话,他其实是会重复下单的。嗯,那么第二种场景是我们的 mc, 那么我们大大家都知道我们的 mc 消息队内里面他其实是不能够保证,嗯,我们的那个消息他重复发送的,对吧? 嗯,如果我们不能保证他的一个重复消费的话,那么我们就得自己去解决这个密等的问题。那么还有就是说我们的那个服务与服务之间的通信,通过我们的 rpc, 那么 rpc 里面他 大部分的 rpc 他都是带了一个超时从事机制的。那么如果是说我两次请求,我第一次请求因为超时了,然后我又发了第二次请求,那么在这种情况下面来说,我们也需要保证他的一个密点性,那么 我们到底有哪些方案我们可以去保证我们的这个密的性呢?我们首先来看第一种,那么数据库为主见啊,我们可以实现密的性,就他的实验 方式其实非常简单啊,就是通过我们的那个分布式 id, 那么我们分布式 id 呢?其实也是有很多方案的,不,不论我们的由于 id 啊,雪花 id 等等等等,那么我们在那个存入数据库表的时候,我们就直接把那个分布式 id 存进去,那么 我们的那个主见就是我们的那个分布式 id, 那么如果是说我重复的去插入第二次的话,他其实是会插不进的,对不对啊?那么他通过这种方式来保证了我们的这个密等,但是 嗯,我们在面对高病发常年下面来说这种是一种非常不推荐的一种方案啊,因为这样在,因为这样的话就是说这种重复就是说 嗯,重复检测他是交给了我们的买车口,那么我们尽量不要去把这种压力给到我们的那个数据库,因为我们的系统的瓶颈一般都是 那个我们的那个低 bdb 的啊,那么所以这种方案是不不推荐的,那么我们来看第二种方案,第二种方案是什么呢? 第二方是乐观锁时间密的性,那么他其实能够用的领域是什么?我们的一个更新操作,我们新增操作其实是我们用不了这种乐观锁的,那么在更新操作里面的话,只是在我们的那个数据库的表里面去增加一个版本号的标识,比如说我那个每一次 我去更新的时候,我都带着我上一次查询的版本号,如果中间有其他人改过的话,我其实更新不了的,对吧? 那么在这种情况下面来说的话,我们是能够保证一个密等性的。那么我们来看第三种分布式锁,呃,简单来说就是说我们通过我们的那个嗯, release, 然后通过它来实现我 我们的那个分布式排插锁。那么大大家可能会有疑问,就是说我们在高冰发的场景下面,我们还用了锁,那么它的性能是不是会降低呢?嗯,这里大家可以放心啊,就是说我们可以去控制一个锁的力度,以提高我们这个整个程序的人性能。 哎,什么意思?就比如说,呃,这个锁只锁你自己的提交的第二次,而不是锁所有人的提交的这个 那个请求。好,我们来讲我们的最后一种。最后一种方案是什么呢?就是说我们获取脱贫的方式,那么服务端提供了,就说他这个操作步骤还是稍微有点复杂,但是他 他的那个作用欲呢?其实是比我们前面这几种方案是广一些的。就是他不仅能够支持我们的那个新增操作呀,然后也能支持 我们的删除操作,也能支持我们的那个修改操作。那么嗯,他的实际原理是什么呢?就是说我们通,我们把整个请求分为两步走,那么第一步我们去获取一个托肯过来,然后我们服务端把这个托肯存到 reads 里面, 那么当我真正发起请求的时候,我就把这个托肯带过去,然后我去 race 里面去查,如果这个托肯在的话,那么我就可以去执行下面的业务逻辑,然后我我去把这个托肯给删掉,那么我去查,然后再删, 这一整个过程大家要注意这里我们必须要注意一个原则性,如果我们没有保证这个原则性操作的话,那么就可能会存在一个问题,这问题是什么呢?就是说我那个同时我一个高兵法场景,然后两个请求都进来了, 那么他们两个同事去查找的时候,大家都发现两个都在,对吧?但是我一个县城给他删了,但是另外一个县城他拿到的结果是在,然后两个县城都去执行了我们的业务请求操作,那么在这种情况下面来说是有问题的,如果我们呢,我们在这个地方我们必须要保证他的一个原则性, 哎,然后我们下一步是如果存在,我们就把 k 删掉,对吧?然后执行我们的业务请求,那么如果没有呢?我们就直接去返回一个错误,然后就告诉他你这个是重复提交的。 好,那么这个就是我们高配发场景下面去保证密等性的一些方案。那么如果大家有需要我们的这个面试宝典的话,可以到评论区里面联系我们的 f 组去进行一个领取,也可以私信的方式去联系我们的 f 组。
粉丝5.8万获赞37.9万

我们来看一道面试题,什么是接口密等性?哪些场景需要密等性?如何保证密等性?好,那我们来看一下。首先看密等性,密等性它指的是一个接口多次被调用,没有副作用, 比如说我们有个扣款的接口,我电用两次,电用三次,他依然只会扣款一次,那么这个就表明这个扣款接口是密的性的。 那哪些场景会出现密等性的问题?比如说用户重复的操作代码里面进行从事消息重复消费,网络波动啊等等,这些场景都可能会带来接口的密等性问题。 那么解决方法我们可以采用唯一,所以驱虫拖肯加热历史啊,实现这个密等性,还有状态机,还有乐观锁,还有分布锁以及选取为一号啊,这些方法都可以解决接口密等性。 那么这里面的每一种解决方法最好是了解一下,这样的话呢,到时候面试的时候如果在追问的话啊,能够答得出来。

一个在传统行业工作了七年的粉丝来私信我,他最近去很多互联网公司去面试,遇到很多技术和概念都没有听过,其中呢就有一道题叫什么是密等,以及如何去解决密等性的问题,他说这概念听都没有听过,怎么可能回答上来。 关于这个问题的高手部分的回答我已经整理成了文档,如果你想要获得的话可以在我的主页的简介里面去获得。好的,关于这个问题我们来看看普通人和高手的回答。普通人的回答,嗯。 呃。密登。什么是密登啊?密登密登密密登。他是就是说,呃,我反正就是我这个接口他他必须要保证说, 呃,我如果说有多次重复掉的情况下啊,就如果重复掉那个接口的话,那我我需要保证说这个接口他的这个结果不能重复出发。比如说比如说我要去修改 一个,一个一个金额,那我如果掉一次我我一百块钱,我减一减一次减十块钱,那如果我重复掉用的话,我我我就会,比如重复掉用三次,那话就减了三十,那这个对数据的影响是很大的,所以所以就是我要去解决密登器,就是我避免,就是我多次掉的时候,我需要, 我需要只对这个结果只印象是我就只会扣一次钱,那后续的这个扣扣这个钱就不允许,呃,不允许再触发,所以,嗯,我要去解,就是我通过解决密的性的话,我的方式就是比如说我可以去加一个,就加一个状态吧,就比如说我去修改这个数据的时候我可以加一个 啊,对加一个状态去判断,比如说加一个,比如玩险呐,对,用,用这种乐观锁的方式,那那我那我只要去触发一次,或者说通过这种托肯的方式嘛,我就前头穿一个托肯过来,那我我我去验证一下这个托肯是不是 已经重复出发过了吗?嗯,高手的回答。好的,所谓的密等啊,其实它是一种数学上的概念,而在计算机编程领域里面呢,密等啊,一般指的是方法被多次重复执行的时候所产生的影响,和第一次执行的影响是相同的。 之所以要考虑密的性问题呢,是因为在网络通讯里面存在两种行为,可能会导致接口被重复调用。第一个是用户的重复提交或者用户的恶意攻击,导致这个请求会被多次重复执行。 第二个在分布书网络加工里面呢,为了避免网络通信导致数据丢失,在服务之间进行通信的时候会设计一个超时从事的一个机制,而这种机制呢,有可能会导致服务端接口被重复调用。所以在程序设计里面呢,对于数据变更类的一个接口啊,需要保证接口的密等性,而密等性的核心思想 就是保证这个接口的执行结果只影响一次,后续即使再次调用也不能对数据产生任何影响。所以其实这样一个诉求常见的解决方法呢,有很多。第一个啊,我们可以使用数据库的唯一约束来实现密等, 比如说对于数据插入类的场景,像订单创建啊,因为订单后一定是唯一的,所以啊,如果多次调用就会触发数据库的唯一约束异常,从而避免一次请求创建多个订单那个问题。 第二个,可以使用 redice 里面提供的 set nx 命令,比如说对于 mq 消费类的场景啊,为了避免 mq 重复消费导致数据多次被修改的一个问题,我们可以在接受 mq 消息的时候,把这个消息通过 set mx 这个命令写入到 redix 里面, 一旦这个消息被消费过,那么就不会再次消费。第三个啊,可以使用状态机来实现密等。所谓的状态机啊, 是指一条数据的完整运行状态的转化流程,比如说订单状态,因为他的状态只会向前去变更,所以多次修改同一条数据的时候,一旦状态发生变更,那么对这条数据的修改造成影响只会发生一次。 当然,除了这些方法以外,还可以基于拖垦机制去从表这样的方法来实现。但是不管什么样的方法,无非就是两种,第一种啊,要么就是这个接口只允许钓鱼一次,比如说唯一约束或者基于 radios 的锁的机制。第二种,要么就是对这个数据的影响只会触发一次,比如说状态机和乐观锁。 以上就是我对这个问题的理解,技术这个行业的发展是很快的,如果自己的技术能力和认知跟不上变化,那么基本上可以说是被这个时代淘汰了,所以保持持续学习是非常重要的。好的,本期的普通人 vs 高手的面试 系列的视频就要到结束了,如果你喜欢这个视频,记得点赞和收藏。我是麦克,一个工作了十四年的加化程序员,咱们下期再见。

如何保证接口的密等性?对方发起一致请求或者多次请求的结果是一致的,不会因为多次点击而产生副作用。最典型的是提交订单接口,防止订单重复。 如果是前单接口,用户多次点击下单按钮下单,可以使用 token 机制,下单前获取 tocong 信息, token 可存在约定之中。前单入餐携带 token 请求接口,通过 toten 判断请求是否重复。 如果是 ipc 接口,上游服务就用下游服务,接口超时通常会重试,此时就有可能发生重复。调用上游可生成 request id, 下游通过如意所引或者 vd 词判断请求是否重复。每日一问,哪些操作天然具有密等型?

hello, 今天给大家分享我们 spring boot 如何实现接口的密等性,那实现接口密等性呢?有很多种方案,那我们这边呢,以前端重复提交表单为例啊, 我这边简单画了一张图啊,比如说当我多次点击提交按钮的时候,那我们后端如果没有进行密等性的一个教验,可能会有多个单据的生成,那针对这种场景,我们一般会用 token 的令牌机制呢,去实现一个密等性教验。 我在返回这个页面的时候呢,就给前端这边放了一个 token, 并且呢它是隐藏的,这个 token 呢是在我们后端生成,并且呢我们后端要以它为 k, 然后以我们的用户信息为 value, 存到我们 release 中。 那当我们点击提交按钮的时候,我们会拿着这样的一个拓客令牌呢,去后端做交验, 以 token 为 k, 去我们 redis 中获得 value 值,并且跟我们当前的用户信息呢进行比较,如果交易成功呢,则删除令牌, 那因为我第一次请求啊,我已经把我的令牌呢给删除了,那后续的请求进来,我 release 中就没有这个 k 了,那我教练呢就会失败。我们来看一下代码啊,这边有一个生辰 token 的一个方法,我们生辰 token, 并且呢把它为 k, 然后把我们的 value 为值,然后存到我们 release 中, 然后呢这边还有一个教研拓客的方法,用到了一个撸啊找本,那 k 一呢就是我们的一个 k, k 二呢就是我们传过来的 y 六值,如果教研成功,我们就会删除这样的一个 k, 我们执行之后,我们就判断一下这个 resort 是不是零,如果是零就是胶原失败的,如果不为零,那就是胶原成功,并且可以执行我们接下来的一个业务 逻辑。然后我这边呢写了一个测试方法啊,我们可以来运行一下,我们可以看到啊,只有第一次是正常调用的,后面的都是显示重复调用。那如果说大家想要这样的一个 demo 以及之前的 demo 的话呢?可以到这来 这,然后给他去发一个消息,像这样就可以拿到我们的 demo。 好,今天的一个分享呢,就到这。

密等性问题的解决方案,首先呢查询和删除类操作呢,它是天然密等的,那我们不需要考虑这方面问题,那对于更新和插入的操作呢,我们可以采用以下几种方案来解决,第一种呢,是采用这种唯一锁锁引组件,或者这种组合唯一所引的方式来防止当数据的产生, 比如我们的啊用户呢,他可以创建账户,但是账户呢必须是唯一的,那这个时候呢,我们就可以使用啊身份证来作为我们这个表的唯一,所以当我们发生这种重复提交的问题的时候呢,那他会根据身份证自断的唯一性的帮我们自动的从数据库级别报错。 那下一个方案呢,就是头层令牌,我们可以在我们的页面打开的时候呢,先向服务端请求一个令牌啊,服务端把这个令牌呢存在缓存当中,当客户端提交之后,服务端处理完啊 业务呢,先将托客令牌进行删除,那当这个页面发生重复提交的时候,这个令牌就已经失效了,所以可以防止页面的重复提交。 那四呢,我们可以啊使用悲观所,但是这个是不推荐的,那悲观所呢,我们有可能要在数据库里面写这种符号不对的,他很容易造成我们的锁表以及我们的这种性能的下降。 那第五呢,就是乐观所,这种呢是一种推荐的方式啊,比如说我在更新订单状态的时候,我可以先写一个威尔,条件是这个订单的状态等于未支付人说我只有把未支付的状态更新为已支付的状态,而不要直接写阿伯特的语句啊, 那第六呢,就是先查后更新。那我接到请求之后呢,我完全可以先查询一下数据库当中当前的订单状态是否是我的预期状态,比如说他是否为未支付,如果未知为未支付,我在做后续的操。 那当然呢,对于这种拆分为两步的做法呢,我们就要考虑他的线程安全问题。那在我们的单机环境里面呢,我们可以用这种 c t 内置的或者数码加锁啊,热身的唠嗑都可以。那如果是在分布式的环境下,我们就要考虑啊,使用分布式所来控制这个先查啊后更新的这个同步的问题。 那最后呢,就是状态机,其实状态机的和乐观,所以及先查后差啊这几种方式呢,基本差不多。那状态机呢,说的是啊,我们可以把我们的订单状态或某一个状态,它是一个有序的变化状态,比如 说他必须从未支付变成支付中,再变成已支付,然后呢或者是说变成支付失败,支付异常,他的状态呢,必须是有一定的迁移过程和迁移顺序的。那我们在更新的数据的时候呢,必须保证他是由状态机的上一个阶段变化为 当前的状态,所以这个就是啊状态机的一个控制方法。那对于啊密等性的这个主流的解决方案呢?就这些。

你好,如何保证 rabbit mpo 当中消息的密等性?一、消息去中,在消费消息时,可以根据消息的唯一标志符,如消息 id 或自定义字段进行去中。 可以将已经消费过的消息的唯一标志符存储到数据库或缓存中。在消费消息时,检查消息是否已经被消费过,如果已经消费过,则不再处理。二、密等性标志符。 在消息体中添加一个密等性标志符。消费者处理消息时,首先对该标志符进行检查,如果已经消费过该消息,则不再处理。可以使用 redis mamacach 灯缓存来存储已经处理过的标志符。如果你有关于 java 的问题,可以写在评论区,我们及时给您回复。学家奥教育。

releas 突然挂了,系统怎么补救啊?怎么实现 release 高可用?这是面试官经常问的问题啊,也是我们生产环境下面不得不面对的问题。 我们使用瑞丽丝主要就是来提高系统的并发性能啊,如果数据量很少啊,主要用于承载高并发高性能的场景,比如说缓存,对吧?一般也就几个 g 的话,那么并发也不是很大的话啊,单节点的瑞丽丝呢,就足够应付, 但是在大的流量下面,大的并发下面啊,黑天鹅的事件呢,总会发生,比如说机器故障啊,比如说短时间内访问暴增,来不及响应啊,对吧,或者是塞入了 k 之太多啊,内存过大,来不及回收,都会导致呢?瑞丽丝发生故障,甚至打击,怎么办呢?哦,思路只有一个,做好瑞丽丝的高可用配置。 readys 常见呢,有三个高考用的模式,第一个呢,是主动模式,属于比较传统的一种高考用的加固模式,对吧?一种 有一层或者一柱多层啊,跟数据库的这个高考应用有点类似啊,我们多个节点呢,通过 aof 面临啊,来保持数据的同步,那么有了多节点啊,就大大的分摊了这个瑞丽丝的防卫压力,我们也可以根据业务场景呢来做读写分离, 那么主节点用来写,从节点用来读,但是有一个不太友好的地方啊,就是一旦主节点挂了,就需要手动去指定这个主节点, 那么一般很少用这种模式啊,主要是对这个程序员不太友好,总不能下班约会啊,或者半夜睡觉的时候呢,被叫过去处理这种事情,那样的话呢,就太痛苦了, 所以呢,后来就有了第二种方案啊,叫做哨兵模式,那么有了哨兵办理站岗啊,一旦主节点挂了,立马呢就可以重新去选择新的主节点,来保障我们的业务不间断。那么哨兵模式呢,其实是 主从模式的升级版啊,哦,加了这个线条监测跟这个切换的功能,这样的话呢,就可以大大的提高了瑞丽丝的高可溶性。 但是刷屏模式呢,也有一些缺点啊,比如说这个主节点跟重节点的数据是一样的呀啊,有些浪费我们宝贵的内存空间,而且一般呢都是主节点在写,这样的话呢,就容易受到单节点及其的限制, 毕竟单机的这个内存呢是有限的,很容易遇到并发访问的性能瓶颈。所以在瑞丽色三点零以后呢,就有了这个 classtar 继续模式啊,多主多从啊,将数据呢进行分布式的重储啊,对数据呢进行分片。 那么每台威力斯节点上面呢,存储不同的内容,不管是数据存储也好,防卫也好,都进行了压力的分摊。而且克拉斯的模式呢,扩容也非常方便啊,支持动态扩展,那么一旦发现压力过大啊,可以随时的增加节点。 克拉斯的模式呢,就是为了这个海量数据的存储,高并发高可用的场景而生的,所以现在几乎百分之九十以上的这个公司呢,都会选择克拉斯的模式来做瑞丽丝的高可用。好了,今天的内容呢,就是这些了,如果您对今天的内容呢有任何疑问,欢迎在评论区给我留言,谢谢大家!

release 的缓存怎么跟数据库的数据保持一致性?那怎么回答这道面试题呢?我们先来说一下什么情况会出现数据的不一致。那在项目当中,我们去使用 release 读取数据的一个场景呢?通常会这么来用,当客户端发起一个查询数据的接口,我们首先呢会去 release 当中去看一下有没有数据,有的话直接返回,那没有的话呢,会去查询数据库,再把数据库的数据呢给他保存在 release 当中,然后设置一个过期时间,这是过期时间的作用呢,是为了保证一些冷数据没有人用呢 啊,过期自动淘汰,不至于一直存储在瑞斯当中,占用瑞斯的空间,对吧?那保存完之后呢,返回到客户端,那么这个呢,就是我们使用瑞斯最常用的一个读取数据的场景,对不对?但是呢,如果我们只读的话,他肯定不会出现这个数据的不一致,对吧?也就是瑞斯跟数据库,如果你只是 查询的话,他肯定不会出现数据的不一致,对不对?只有读跟写并发一起,才会出现这个数据的不一致。那我们再来说一下这个写的场景啊,那写的场景这个情况就比较多了,总结起来呢,无非就是到底是更新缓存还是删除缓存, 或者呢,是先操作数据库还是先操作缓存,无非就是这两点区别,好吧,什么意思呢?可能很多同学听到这里有点懵逼,对不对?比如说,当我们去修改一个数据,你到底是修直接修改 redis 还是直接删除掉 redis 的数据呢?同学们想一下,你会用哪一种? 其实更推荐大家用直接删除缓存的方式,也就是你修改一条数据的情况,直接把 redis 数据给他删除掉,为什么呢?因为你删除掉逻辑非常简单对不对?你只需要等待下一个县城去查询这个 redis, 然后没有呢,再去查询数据库,把数据 数据呢放回到 redis 就行了,对不对?但是如果你是修改 redis 数据呢?我们通常修改 redis 数据会经过一系列复杂的业务逻辑计算,对不对?完了之后呢,再给他 去保存修改,所以说整个过程修改,其实他所需要付出的成本呢,其实是更高的,所以推荐大家直接把这个缓存直接给他删除掉,我们更推荐大家用直接删除缓存的方式。 然后呢,我一个修改数据的一个场景,首先呢,我们到底是先把 redis 的数据修改了,还是先把数据库的数据修改了呢? 这是先操作数据库跟先操作 reds 区别,那么这两种到底用哪一个?好吧,我们分别来讲一下,怎么在矮个子里面挑高个子,也就是先操作缓存更好还是先操作数据库更好呢? 那我们分别都来说一下,以及他们出现数据不一致的情况,又应该如何分别的去处理呢?我们先来说一下先操作缓存啊,那先操作缓存再这个修改数据也就是写的场景啊,那假如先乘一, 他先把 red 的数据删掉,对吧?然后呢再去修改数据库,这是先操作缓存的这样的一个场景。那如果是读跟写并发,是如何出现数据的不一致呢?我们来说一下, 首先线程一发起了一个修改数据的这样的一个请求,对不对?首先第一步呢,先把 read 的数据给他删除掉, 然后呢再去修改数据库,那么此时呢,在这里出现了网络的卡顿。线程二,由于他是并发进来,他执行的是一个查询的请求,他会去 redis 当中呢查询数据,那么 能查到吗?由于县城一把数据删掉了,对不对?他查不到,那么此时呢,他就会去数据库里面查,但查他查到的数据呢,其实是一个老的数据,对不对?因为新的数据呢,在县城一这里还没修改进来。 那么线程二,他查到老数据之后呢,会把这个老数据呢,存在 red 三中,对不对?完了,线程一,此时反应过来呢,会把新数据 给他更新在数据库当中,那么此时呢,就会出现 regis 当中存的是老数据,数据库当中存的是新数据,下次比如说现成更多的现成进来查询到的数据呢,就一直是这个老数据,必须要等到这个老数据呢,过期时间到了, 才能查到新数据,对不对?所以这个过程呢,一直都会是数据不一致,那这个情况怎么解决呢?那其实解决起来非常 简单,我们再来重演一下刚刚那个过程。首先呢,线程一执行修改操作,他删除掉这款团,然后呢去执行修改数据库操作,出现了网络延迟。线程二执行查询的这个操作,他查到类似三中,没有去查询数据库,查到老数据,把它放在 red 三中。那么此时想一下,线程一,他把数据库修改成新的之后,我能不能再执行一遍删除 redis 数据的这样的一个操作, 删完之后,我后面再有现成请求进来, res 当中是不是没有数据了?没有的话是不是会查到这个新的数据,然后再放回到 res 当中,那么此时是不是就保证了数据的一致性,对吧?但是呢, 县城二查到的这一次,他其实是老的数据,对不对?所以只会出现数据的一次不一致,那有同学可能会说,老师能不能把这一次也能保证,那,那你就得引入这个强一致性的概念了。强一致性, 我们的 release 跟数据库数据是强一致的话,必须要保证他们的操作是原子性的, 那么我们的 redis 跟数据库他可能存储在不同的服务器,他是需要两步操作的,对不对?那你要保证他们的原则性呢?你就得保证他们在操作的时候呢,去上一把锁,对不对?那你加了锁之后, 是不是会影响我们整个系统的一个吞吐量啊?对不对?你想一下,我们用 read some 目的是什么?是不是就是为了提高系统的一个性能? 那么此时你用为了保证强一致性又去加锁,是不是就得不偿失了,对吧?所以说一致性跟性能我们只能保证一种好吧? ap 跟 cp 呢,我们只能保证一种,所以说在 ap 的这个基础上,我们可以用刚刚所说 的这个双删,也就是再删一次的方式呢,保证数据的这个一致性。虽然线程二他会出现一次数据的不一致,但是你的 reaches 跟数据库呢,是保证了最终的数据一致的,对不对?他们最终的数据都是新的, 所以我们要保证数据一致性呢?我们通常会采用这种最终一致性,而不会采用刚刚所说的这个强一致性,因为强一致性他会影响我们系统的吞度量。 ok, 所以说我们通常呢会采用这种最终抑制性。然后呢,我们还得注意一点,也就是在这里再一次删除,我们称之为双删,好吧,因为你前面删了一遍嘛,后面又删一遍,所以称之为双删。那么第二次删除的时候啊,要使用延迟,延迟删除,比如说延迟几百毫秒之后再删除, 为什么要这样做呢?来,我们再来重演一下。首先建成一,他去执行修改操作,对吧?删除 res, 然后呢,此时他去更新数据库,出现了黄颜值,那现场二,执行查询没有查到,去查询输入,他查到了老数据,那么此时呢,建成一进来,他把出去更新,是吧?更新出去,然后呢,你,你如果不延迟啊,是不是会立马执行删除啊? 对吧?那么你删完之后呢?此时县城二才把老数据呢,给他放回到瑞斯三中,此时你这一步如果没有延迟,是不是删了跟没商一样的,伤了个寂寞,对不对?所以说县城二他又把老数据呢放回到了瑞斯三中,又出现了数据不一致, 所以说你必须要延迟,那么这个就是我们所谓的延迟双杀,比如说我们延迟五百毫秒,五百毫秒之内啊,这个 reece 当中,它存的一直都是老数据,对不对?所以这在这个五百毫秒之内呢,它就一直是脏数据, 但这个没有办法,对吧?我们只能保证最终的意志性。 ok, 那这个五百毫秒也不一定啊,你得结合你自己的这个项目的这个业务,好吧,自己评估他的一个耗时时间, ok, 也就是评估一下现成二,他去查询数据库,然后呢放到 release 的这个时间删除,那么就延迟多久,好吧,那这就是所谓的通过延迟双删的来保证数据的最终一致性, ok? 然后我们刚刚说的是什么先操作缓存的情况?我们再来说一下,先操作数据库,什么情况会出现数据不一致?那先操作数据库的话, 同样的执行一个修改请求,先把数据库的数据呢先修改掉,然后呢再去把 redis 的数据删掉,那么这种情况如果是在病发的情况下,读跟写一起,会不会出现数据不一致呢?我们在 再来重演一下这个过程。线程一,他执行一个修改操作,由于先执行数据库操作对不对?那么把数据修改成新的, 那么此时你在修改的过程当中啊,线程二,他进来了,他执行一个查询的这个请求,他查到的数据是什么?老数据对不对?然后就直接返回了, 然后呢线程一,它最终会把 redis 给它删掉,对吧?那么下一个线程进来查到 redis 当中,没有,会把这个新新数据再放回到 redis 当中,所以在这个过程当中,其实我们先操作数据库,再去删 redis, 是不是 能保证最终的一致性啊?对不对?所以说更推荐大家呢,先操作数据库,再来操作缓存,好吧,只不过呢,你先操作数据库,他其他县城去其他县城,在这个过程当中查到的数据呢,是脏数据,对吧?但是我们 最终呢保证了他的数据一致性是不是?那么这种先操作数据库的情况,他其实呢还是会有问题,也就说你先 把数据库修改成新数据之后呢?三缓存的时候呢?删除失败了,但这种情况下比较极端,但,对吧?但是还是会有,但是如果你删除失败了,是不是下次一直也是查到的是老数据啊?必须要等待这 res 时间过期之后才能查到新的, 对不对?那么针对这种删除失败的情况,那么我们可以采用删除重试的一个机制,我们可以利用一个 m q, 好吧,也就是你在这里删除失败,不管你先操作这个缓存,还是先操作数据库,都可能会出现删除 release 失败的情况,对不对?那么一旦出现了删除 release 失败啊, 我们可以通过易步好吧易步请求的方式发送一个这个易步消息到这个 m q 当中,对吧?然后你的系统呢,去监听 m q, 一旦监听到有某一个这个 race 的 key 删除失败了,那么就怎么样执行重试删除对不对? 那么这样呢,就能够保证出现这种极端情况的删除失败的情况,对不对?所导致的数据不一致,好吧,我们可以采用这个删除重试,但是我们加入了删除重试之后呢,他有什么缺点呢?朋友们可以想一下,是不是这个业务的数据代码, 是不是这个代码的偶合度太高了,对不对?也就是 m q 操作的这一块的偶合代码,我们放在系统当中,是不是代码过于偶合对不对?那如果我们要实现结偶的话,我们可以采用另外一个组件叫做 这个 canno, 好吧,它是一款阿里巴巴的开源组件,通过它呢,可以去监听这个 my circle 的一个啊,冰落和日志,你可以把它理解成什么主从,好吧,也就是说,当我们的这个 my circle 出现了数据变动, canno 它能够立马感知到, 好吧,然后呢,再通知 candle 的客户端,那么 candle 的客户端啊,它可以有很多种,那么我们可以通过 spring 步的应用来充当这个 candle 的客户端。 我给大家举个例子,整个过程是什么样的啊?首先呢,线程一删除,对吧?单执行一个修改操作,整个操作过程是什么样的?我给大家说一下。也就是我们刚刚呢,把这个删除重试的整个过程啊,都放在了这个 candle 客户端去做,也就是一个专门用来监听这个 candle 的一个 spring boot 应用。那么这个过程是什么样的呢?我来给大家说一下。说白了 就是把这个删除 release 的操作呢,给它放在了我们的 cano 客户端,也就是我们的可以是一个 spring boot 的应用。好吧,这个 spring boot 应用呢,它用来接收 cano 的通知,也就是一旦我们的数据库发生了数据的修改, 他会通知 candle, 那么 candle 呢,再去通知我们的 candle 的客户端,也就是 spring 部的应用吧。那么整个过程是什么样的呢?我们再来重演一下。首先呢, 线程一它执行修改操作,对吧?它去删除 release, 当然不管你是先操作缓存还是先操作数据库啊,我们都可以采用这种。 好吧,监听并 log 采用这种 candle 的方式来进行解偶,并且呢啊删除重试,好吧,然后现成一修改在这里呢,出现了网络延迟,对吧?然后呢现成二,去查询数据,没有查到,去查询数据库, 查到老的数据,把这个老师的数据呢存到 red 三中,然后呢现成一醒过来把数据修改成新的,那么 candle 一旦监听到这个数据库发生了变化,他会发送一条对吧消息通知我们的 candle 客户端, 然后再携带这个新的数据啊,好吧,告诉这个 spring 部的我们的 candle 客户端,那么 candle 客户端呢?他再去执行什么?延迟删除 redis, 对不对?那么如果删除失败呢?同样的 再去发送一条消息,好吧,也就是我们的这个天路客户端发送一条消息到 mq, 对吧?那么 mq 呢,再去通知 我们的 mq 的订阅者执行删除重试,对不对?好吧,整个过程呢,就是这样的。那么最后呢,再来给大家总结一下,就是我们 首先在项目当中使用 reese, 当中如果你只是只读的话,肯定不会出现数据不一致,对不对?只有读跟写并且存在并发的情况呢,才会出现数据的不一致。那数据那在我们这个写的场景啊,我们不推荐大家 用修改缓存的方式,而是呢,推荐大家用删除缓存的方式,对吧?因为他的这个性能,他的这个成本更低。然后呢,是先操作缓存还是先操作数据库?我们更推荐大家采用这种先操作数据库的方式, 对吧?因为它能够尽最大限度的呢,保证我们最终的数据一致性。但是不管你是先操作数据库还是先操作缓存,其实都会出现数据的不一致性,对不对?因为 redis 跟数据库呢,它不是原子性的,你要保证原子性呢?只能 怎么样?上锁对不对?那上锁的话就会影响我们系统的一个吞吐量,所以说我们只能保证最终的数据一致性,对不对?那数据最终一致性呢?我们也不能完全的去保证, 因为假如说我们在删除缓存的时候, reese 出现了失败,那么我们就需要使用重试,对不对?删除重试,利用 mq 来异步的重试删除,当你利用 mq, 假如说这些逻辑代码都放在一个系统当中呢?过于吻合 对不对?那么我们就可以最终呢采用这个 canno 来进行解偶,这样呢,我们就可以把删除 release 的这个操作呢放在这个 canno 客户端去做,对不对?然后呢,如果出现了删除同事呢,也放在 canno 客户端,从而呢 跟我们的业务代码进行解我,对吧?好,这就是我们的这个 redis 跟数据库怎么保持数据的一致性,好吧。

今天呢,有个粉丝啊,连续被问到了两次,什么呢?就是如果说你在工作中遇到了需要大量的数据进行 release 预热,那么你会怎么办?那么今天呢,就给大家分享一下在 release 里面批量处理数据很有用的一个技术,叫 pipeline 技术,也就是批处理技术。 那么呢,大部分的 redis 客户端也是支持该功能的,那比如我们 springboard 自带的 jadis 以及 natis 为例,假如我们想去设置一万个 key 到 redis 去做预热,我们一个一个做的话,很简单, 循环,然后呢往 redis 里面去 set 值,那么这个时候每一个 set 都需要从客户端到我的服务端,然后执行完了以后再从服务端返回给我的客户端,那么这个时候他是比较耗时的。好,我们先记录一下时间, 假如如果用管道技术,应该要怎么去做呢?好,我们简单来去比较一下他们的耗时的时间。首先 ready template 里面他支持我们的管道技术,因为我刚刚讲了他的很多客户端是支持的。 excuse pepline, 我们去 new 一个 ready decor bike, 它是一个接口,它里面有个方法叫 do in red is, 我们去重写这个方法。好,同样的,我这里面呢,做的事情是一样的,去把这一万个 key set 到我的 redis 里面去,只不过他的执行不是用 opposite for value 了,而是用什么呢? 看 nation 点 mind sing 点 set, 我可以去 set 一个 key 跟 value 好,比如说我当前的 key 加上 i 点 goodbyes 字解,然后呢我的 vanny 就随便存一个 string 点 value of i 点 goodbyes, 那么这个时候呢, 这是我的一个管道技术,然后我可以去比较一下他的时间,刚刚是我们一条一条处理的时间,现在我们去看一下 p 处理他的耗时,我们去测试一下,查看一下他的执行时间, 我们会发现批处理的执行时间,他是比你一条一条处理的时间是要快很多很多的。那比如现在我们的结果, 我的 p 处理时间是三百三十四毫秒,然后我一条一条数据的处理时间是六幺幺三,所以它提升的性能大概在十多二十倍。那么这个提升的原理是什么呢?其实就是我刚刚讲的, 因为你每一条语句都是需要去由客户端到我的服务端,服务端返回给客户端,所以他会有个 rtt 时间,那么批处理其实就是去减少我的 rtt 时间, 那么减少我 rtt 的次数,将我的 k 分装打包一起发送给我的服务端,然后呢服务端全部执行完了以后,再一起返回给我的客户端。 ok, 那么今天呢分享就到这里。

什么是 redis? redis 是一个基于内存操作的数据库,适用于小量热点数据。它的使用非常简单,只需要双击即可运行,一共可以存储五种类型数据,像 hash、 list、 set 等。它的配置更加便捷, 第一步,配置 maybe 以及 starter 坐标。第二步,编写启动类。最后一步,最关键设置 radius, 相关配置地址为 local host 端口号为六三七九,再设置个连接时就可以了。然后自定义一个序列化,返回 radius template。 我们存储一条数据 tv 毛藤 value 为自学照,然后打开可视化工具,可以看到已经存储成功。我们还可以根据 t 键取出相应的 value 以及对哈西类型数据操作,多存几个毛藤一起学习。 还可以存储有序集合,对数据进行一个排名,还可以获取 radit 中所有的 t, 以及判断某个 t 是否存在数据中。

今天的主角呢,是一个叫小徐的程序员,他刚工作不久,然后公司让他开发一个秒杀的功能,他经过需求分析之后呢,发现很简单,只需要根据当前秒杀的商品,判断该商品的库存是否大于零,如果大于零的话,扣减库存,否则呢,秒杀失败。开发完之后呢,他信心满满上线了,但上线之后呢,挨了老板的屌, 因为他发现呢,有一个商品的库存只有一个,但是却卖出了好几份。那由于这个问题呢,小徐这个月的 kpi 直接扣关了,我们来帮小徐分析一下,大家应该都知道这个问题,对吧? 在多县城并发的一个情况下,如果同时对一个共享资源进行读写呢,会对这个数据造成数据的错乱的问题。那小徐呢,他也意识到了这个问题,所以说他在这个基础上呢,进行了改造。这次呢,他加了一把同步锁,然后呢,在上线之前,他学聪明了, 进行了压测,这次终于不会超卖了。那么这次上线之后呢,确实也非常的正常,那我们都知道,当多县城并发的情况下,我们加了同步锁,那其他的县城呢?同时进来会进行一个 他需要排队等待,需要等持有锁的线程处理完之后呢,其他的线程才能正常的进行处理。但是随着用户量日益增多,小徐发现服务器压力越来越大,性能已经到达了瓶颈,但是他不慌啊,因为他学过一个叫做 nginx 负载均衡的技术, 他将服务器呢进行了水平扩展,通过 ngx 进行分布式集群部署。但是在压测的时候呢,发现吞吐量确实上来了,但是秒杀功能呢,又出现了超卖问题,那经过他的研究发现,原来是同步锁的问题, 因为同步锁呢,它是 gbm 级别的,它只能锁住单个进程,但是经过分布日部署之后呢,每台服务器在并发的情况下只能锁住一个县城。 原来是这样,经过他一个晚上未眠研究发现可以通过一个叫做分布式锁的技术来进行解决。那现在主流的分布式锁解决方案呢?有 release 和 to keeper, 由于它的系统已经使用到了 release, 所以呢,考虑 to keeper 需要再部署服务, 不想再增增加服务器的成本,那他决定呢,采用 release 来实现分布制锁。他发现呢,通过 release 的 set n x 就可以非常简单的实现分布制锁 c t n x, 它的特性是什么样的呢?当一个县城进来往 release 的当中,通过 c t n x 去存储一个值的时候,它发现一个键,比如说通过 c t n x 发现徐数的这个键里面没有值的时候,它会往里面存储一个值,然后返回处, 然后又一个线程进来。当往徐数这个键里面通过 c 腾 x 存储一个值的时候,发现有值,此时他会返回 force。 那通过这个特性呢,就可以实现分门锁。当用户请求进 来的时候呢,通过 c 的 nx 来设置一个键,那当里面没有的时候,返回处加锁成功,但是记住一定要加上过期时间。因为小徐经过测试的时候发现,用户在请求的过程当中,如果此时服务器挂掉了, 那么其他的服务器正常请求依然会出现一个阻塞的一个情况,因为他们其他的服务器的线程通过 ctnx 来进行上锁的时候呢,发现这个键当中一直会有值,所以说永远都上锁不成功, 之前挂掉的这个服务器呢,他一直持有锁,从而呢造成了一个死锁的现象,所以说呢,他发现一定要加一个过期时间,这样如果服务器挂掉了,经过这个时间之后,这把锁将会自动释放,那从而不影响其他的服务器的一个正常请求。那么通过 c n s 呢,带用户请求进来加上锁其他所有服务器的现成呢?此时在 通过 cdnx 发现呢,已经无法进行上锁,需要进行等待,那只有将第一个线程处理完之后呢,示范之后才能第二个请求继续 cdnx 上锁,同样的,第二个请求示范之后,其他的线程才可以进行请求其他的线程,以此类推。但是随着业务的扩展呢,又暴露出来了一些问题, 他发现当业务的处理时间超过了这把锁的过期时间呢,业务还没有处理完,这把锁他会自动释放,那其他的线程呢,就会趁虚而入,而线程一处理完了之后呢,此时释放的是线程二的锁。

一个工作了七年的家务程序员啊,他私信我说关于分布式锁的问题,一上来就两个灵魂拷问,瑞迪斯锁超时了怎么办?瑞迪斯祖宗切换导致锁失效了怎么办?我说别着急啊,这些都是小问题, 那么关于分布式所的理解和实现这个问题啊,我们来看看普通人和高手的回答。普通人的回答,呃,分布式所,分布所应该就是他可以具备这种跨进程的所的一个分布性,也就是说, 呃,就是我们我们以前传统的那种锁嘛,就是像县城级别锁,他只能锁住单个县城嘛,就多个县城,但是县城它是属于进城范围内的。所以如果我,我想就是在整个的分布式架构下,我如果想要去锁定多个进城,对某个资源的访问的情况下,那跨进城的这种 所的话,就是单县城里面是没办法实现,所以会需要用到分布所,然后实验分布所的话,用瑞迪斯里面的赛德 x 命令就是可以去实现。 高手的回答啊,分布锁呢,是一种跨进程跨机器节点的一种护士锁啊,它可以用来去保证在多个机器节点对共享资源访问的一个排查性。 我觉得分布所和现实所的本质上是一样的,现实所的生命周期是单进程多现成,而分布所的生命周期呢,是多进程多机器节点, 在本质上他们都需要满足所得几个基本的重要特性。首先是排他性,也就是说在同一时刻只能有一个节点去访问共享资源。其次就是可从物性,他允许一个已经获得所的现成,在没有释放所之前重新去获得所。第三个是所 的获取和释放的方法,第四个是锁的失效机制,也就是说避免失锁的一个问题,所以啊,我认为只要能够去满足这些特性的技术组建,都能够去实现分布的锁。 首先第一个啊,是关系型数据库,他可以使用到唯一的约束来就实现所的排他性,如果要针对某个方法枷锁,就可以去创建个表,去包含方法名称的一个自断,并且把方法名称这样一个自断设置成唯一的约束, 那么抢占所的逻辑就变成了往表里面去插入一条数据,如果已经有其他的现成获得了某个方法的锁,那么这个时候再去插入数据的时候一定会失败, 所以从而去保证了锁的互刺性。那么这种方式虽然看起来很简单,但是实现比较完整的分布锁,还需要考虑到从入性啊,锁的失效机制啊,没有抢占到锁的县城,要等待主色等等都会 会比较麻烦。所以第二个呢,就是 radis, 它里面提供了 sat n x 命令去实现锁的排他性,当 k 不存在的时候就会返回,一存在就会返回零。然后呢,还可以使用 expan 命令去设置锁的失效时间,从而去避免死锁的问题。 当然有可能存在所过期的,但是业务逻辑还没有执行完怎么办呢?所以这种情况下,我们可以写一个定时任务,对指定的 k 去进行续期。 瑞迪险呢,这个开元组建,他提供了一个分布所的封装实现,并且内置了一个叫 watch dog 的机制来对 k 去做续期, 所以我认为瑞迪斯里面这种分布锁的设计呢,已经能够解决百分之九十九的问题了。当然,如果在瑞迪斯搭建了高可用奇趣的情况下去出现主重切换导致可以失效的问题,也可能会导致多个县城或者进城抢占同一个所资源的一个情况。所以瑞迪斯官方呢,也提供了一个叫瑞的 和解办法,但是实际上会相对复杂一点。所以在我看来呢,啊分布所他应该是一个 cp 模型啊, reds 呢,他是一个 ap 模型,所以在集群架构下,由于数据的一次性问题,导致极端情况下出现的多线层或者多精神抢占所的情况很难避免。 那么基于 cp 模型又能实现分布所特性的组建有哪些呢?我认为可以选择 gpa 或者 etcd。 首先啊,在数据一次性方面,足 keep 用到了 double 协议去保证数据的一次性。而 etcd 呢,用到了 rat 算法去保证数据一次性。 第二个是在锁的互刺方面,主 q 他可以给予有序节点再结合 war 去机制来去实现互刺和唤醒啊。而 etcd 呢,他也可以给予 profix 机制和 watch 机制来实现互刺和唤醒。以上呢,就是我对分部所的一个理解,我认为啊,回答这个问题的核心本质还是在技术底层的深度理解 和基础的一个思考上。可以从高手的回答中明显的感受到,对于排他所的底层逻辑的理解是很深刻的,同时啊,在技术的广度上也是有足够的积累。所以在回答这个问题的时候呢,面试官可以去抓到求职者在回答这个问题的时候的一个技术关键点和技术的一个思考。 我认为当具备体系化的技术能力的时候,是很容易应对各种面试官的各种刁难的。 好的,本期的普通人 vs 高手面试系列视频就到这结束了,喜欢的朋友记得点赞和收藏。另外啊,有任何技术上的问题,职业发展的规划的问题,都可以来私信我,我会在第一时间给大家回复。 我是麦克,一个工作了十四年的家外程序员,咱们下期再见。

今天呢,就跟大家讲解一下 redis 的缓存机窗缓存血崩,缓存穿透究竟是怎么一回事,并且呢我们该如何解决这几个问题? 那么首先呢,我们就需要知道 redis 和卖收口之间的一个关系,我们呢不能把他们俩呢看成是一个竞争对手的关系,而是呢要看成是兄弟呢,就整整齐齐的兄弟关系。那么正常而言,当用户发起请求的时候,是不是呢会先来到我们这个 redis 里面呢来查询数据, redis 里面没有呢,才会来到我们卖收口呢来查询数据, 查到数据之后呢,也会先更新我们这个 redis 里面,再将数据进行一个返回,也就是说呢,如果说我们需要来找我们的卖收口的一个麻烦, 是不是呢,我们就需要先通过他的好兄弟 redis 这一关,但是呢, redis 他会因为一些内部或者是外部的原因呢,就会出现一些无效把关的场景,那怎么理解呢?我们就先看第一个场景, redis 的缓存击穿,那么 redis 的缓存击穿怎么理解?那么也就是说呢,在高并发的访问下,那么一个热点数据呢,它正在扛住我们的高变发的场景,那这个时候呢,我们这一个热点 k 呢,它就突然过期了,也就是失效了, 这个时候大量的请求是不是就直接绕过了我们这个 reds, 来到了我们这个卖收口端来访问数据,那么这样呢,我们这一个数据库的压力是不是就出现一个巨增,他的一个效率呢也急剧下降, 而且呢很有可能我们这个卖手口是不是会出现一个崩溃,也就是我们这个断掉,那么整个系统呢,是不是就会出现无法使用的情况?那么针对于我们缓存机穿的这种场景,我们该如何解决呢?那么第一个方案呢就是我们设置一个合理的有效时间, 那么缓存器装他是一个热点数据呢,他就突然失效了,那么是不是我们可以针对热点数据呢设置一个合理的过 时间,甚至呢我们针对这个热点数据呢直接设置一个永不过期,这样我们是不是就可以避免因为我们这个热点数据呢他正在扛高并发的时候突然失效。那么就有小伙伴可能会想到,如果说我们一个冷门的商品,他在售卖的时候,他突然申请为了一个热门的数据, 那比如说我们之前疫情的时候,是不是我们的一个口罩或者是酒精这一些,那么我们该如何处理呢?那么这种场景呢?其实我们也可以增加一个脚本, 也就增加一个自动任务,对不对?我们来监控我们的这些商品呢,他的一个访问量,或者是呢销售量, 当他达到了一定的预值之后,那么我们的这一个自动任务呢,就将我们这一个热点数据呢延长他的一个有效时间,或者是呢直接设置为一个永不过期,那么这样是不是就可以避免我们这一个缓存期窗的场景?第二个方案呢,其实就是 使用我们这个护厕所,他其实就是避免尤其极端场景下,我们没有及时的更新或者是延长我们这个热点数据的他的一个有效时间,最终呢就出现了我们这个缓存击穿,那么这个时候呢,我们就可以使用我们这个护厕所,护厕所呢他就保证了我们的一个机器是不是只有一个线程 可以来到我们这个麦收口端呢来查询数据。那么即使你有多个机器是不是麦收口了,他也是可以支撑这一个访问量的, 这也就是第一种缓冲击穿的场景和他的一些解决方案。那接下来呢,我们再看一下第二个场景,也就是缓存血崩, 相对于我们的缓存机穿,它是热点数据失效导致的卖收口,他的一个压力剧增,那么缓存血崩呢,出现了大规模的缓存失效,或者是呢缓存档机,这样呢我们的 ready 是同样的,他是不是就放过了很多的请求,直接达到了我们这一个卖收口端,导致了卖 收口他的一个压力呢就剧增,从而呢他的性能下降,最终呢就可能出现一个崩溃的场景。而且呢如果说是我们的大规模的一个热点数据进行失效的话,是不是卖收口呢,他就压根就撑不了,直接呢就断掉了。 相对于我们这个缓存旋风呢,它其实呢也可以使用我们这个缓存机窗的一些解决方案。第一个呢就我们设置一个合理的有效时间,那么呢我们将同时失效,我们改成一个随机,是不是比如说我们三个 k, 那么第一个 k 是五分钟,第二个 k 呢是十分钟,第三个 k 呢是十五分钟, 他们是不是就是一个接连失效的,并不是同时失效,这样我们是不是也可以减少我们麦师傅在瞬间他的一个访问量,而且呢他也是可以设置一些永不过期,对不对?不过呢这是比较极端的场景,大家呢只要设置一个合理的时间呢都可以,第二个呢我们也可以使用护厕所,如果 说极端情况下呢,我们确实是出现了缓存血崩,那么最终呢,我们达到 mysocal 来查数据的这个请求量呢,并没有实际请求那么多,因为呢是不是还有大量的进程呢?他都是在等待中的,因此。

有假发,我自信今天的问题是使用 radas 实现分布式所。所谓分布式所,就是在多个节点都可以访问的位置设置一个标志,任何节点想访问被锁的资源时,首先尝试获取这个标志,如果获取成功,表示获取所成功,如果获取失败,就表示获取所失败。 使用 rays 实现分布式所,就是在准备一个 rays 节点,在 rays 设置一个 p 作为所标志,当 p 存在的时候,就表示资源被锁,如果 p 不存在,就说明资源处于空闲状态。 加锁的过程就是判断 p 是否存在,如果不存在就添加一个。这里要注意的是,判断 p 是否存在和添加 p 的过程必须是原子操作,可以使用 radest 的 settings 方法,资源使用完成再将 p 删除。释放锁,这里同样要注意原子操作,可是如果持有锁的节点 在释放锁之前挡机了,就会导致锁永远无法释放,如何解决呢?解决方案就是在添加踢的时候,要给踢设置一个过期时间,这样的话,即使持有锁的节点挡机了, rades 会自动释放锁。貌似挺完美的, 但是还是有问题,比如我们设置过期时间为二十秒,但是持有锁的节点本身操作时间超过了二十秒,那么就会导致持有锁的节点还没有操作完成之前,锁就被 rades 给释放了。那么我们怎么解决这个问题呢?解决方案就是当某个节点获取到锁之后,立刻启动一个子线城给自己续命。 紫线城的主要任务就是等批的过期时间快到的时候,一般都是还剩三分之一的时间的时候就重新设置批的过期时间为二十秒。当持有锁的节点完成操作之后,显示主动关闭紫线城,然后释放锁。当持有锁的节点档期之后, 续命的紫线城也会停止,所以就自动释放了。这就是使用 radas 实现的分布式所关注假发,每天学习奇怪的知识。

瑞迪斯里面有用到哪些数据结构呢啊?瑞迪斯,比如说我用到史俊嘛,对吧?嗯,那史俊,然后有史俊就是单一的,单单一普通的 tv, 然后还有历史的,历史的就是相当于一对多的一个这么一个列表,但是它是有序的,嗯,然后摄像头的话也可以相当于认为是一个 一对多这么个地表,但是他是无序的,然后他是唯一,唯一要唯一的,嗯,然后就是哈西啊,哈西就是跟跟你这个视频比的话,他是相当于一个屁 最近的这么一个外表呢,还能再根据多个 flow 的这种。首先呢加细细分啊,嗯,细分,嗯。然后还有就是 jsj 赛的,就是跟赛赛比的话,它是跟赛道有,它是它是有序的啊。嗯,通过一个时空,时空的时候的这么一个阶段来进行拍 有序的,嗯,有序的一个赛的,嗯,他在每一种数据类型的实现里面就是他里面整个的。你刚说的五种数据类型里面他要底层用了哪些数据结构? 底层的话,那我我的就本身原体是他是一个,哎。 k 歌有电子队嘛,对吧?嗯, k 歌有电子队,那他本身这个 k 呢,就是一种,就相当于那种用哈西的字典表嘛,嗯,字典嘛,这么一个结构,然后他的 y 六呢?有在有在继续分嘛,对吧?比如说我们这个使劲,嗯,使劲的话,他 我要是说根据你这个放放进去的这个阶段吧,对吧?有分三种啊,有一种,比如说一种就是专门叫纯种整形的嘛,整形的这种叫鹰鹰腿吧,还有还有这根据你这支付串,支付串的这个大长度大小就分这个 emst, 还有的啊 啊, aw 啊,他是这边这个使劲的话就是一种 sds, 叫动态直播算啊?动态直播算,嗯。

说说 radis 的现场模型一, radis 呢,是基于 rat 模式开发了自己的网络事件处理器,这个处理器呢,被称为文件事件处理器,它的组成结构四部分,多个套接字、 l 多录费用程序、文件事件分派器。事件处理器。 因为文件事件分配器对类的消费是单县城的,所以 rit 才叫单县城。模型二,文件事件处理器使用 io 多路附用程序来同时监听多个套接字,并根据套接字目前执行的任务来为套接字关联不同的事件处理器。第三,当被监听的套接字准备好执行、连接、应答、读取、 写入、关闭等操作的时候,与操作相对应的文件事件就会产生,这时呢,文件处理器就会调用套接字之前关联好的事件处理器来处理一些事件。第四,文件事件处理器以单线程方式运行,但通过使用 l 多路 用程序来监听多个套接字,文件事件处理器既实现了高性能的网络通信模型,又可以很好的与 radis 服务器中其他同样以单线程方式运行的模块进行对接,这保持了 radis 内部现成设计的简单性。还有问题吗?

我们一般做 release 高考用的时候呢,都会用 release the class 模式,比如说三足三重对吧,主库按照一定的逻辑,充足数据,既负责读也负责写啊,从顾呢,其实就是一个打酱油的,也就同个数据,其他什么事情也不干啊,就等主库挂了来做替补。 这种 cluster 的嘱托模式呢啊,提升了整体的这个性能啊,数据呢,也是分布式存储的,也能够缓解宝宝压力。 但是呢,提升性能的同时呢,也带来了一些其他问题,比如说对于瑞丽斯的丰富世俗啊,对吧,就是一个坑。 对于基于瑞丽斯克拉斯尔模式的分布式所来说啊,如果想要加索啊,我们一般都会根据一定的计算规则找到一个 master 来写入 k, 在加索成功之后呢, master 结点呢,就会把 k 一步复制给对应的通知点, 这样看来呢,其实没有太多问题啊,但是一旦 master 结点异常故障当机从结点呢复制失败,那么为了保证集群的可用性呢,就会进行主备切换啊,四拉五就会变成 master。 这个时候呢,如果有新的现场访问啊,就会把锁加到新的节点上面,这样一来呢,系统里面就会出现两把锁,后果呢可想而知啊,就会出现各种脏数据,比如说出现超慢问题,对吧? 那么针对这种问题呢,目前呢,也是有一些九月方案的啊,常见呢就是 relock 啊,原理呢,就是需要部署 瑞丽丝很多个节点,每一个节点呢相对独立啊,不存在组成模式家族的时候呢,客户都依次向这几个瑞丽丝实力呢发起家族请求啊,可以用我们之前讲到的这个 猜猜命令对吧?啊,且每一个请求呢,也都会设置一个超值时间啊,如果某一个实力加速失败啊,比如说网络超时啊,就会立即向下一个瑞丽斯实力呢申请加索, 如果客户端啊大多数的这个实力加速成功的话,我们就会认为这个啊,整个这个现场加速成功,否则呢就会认为加速失败。加速成功呢,就可以操作一些共享资源了,比如说买色号的某一条记录对吧? 如果加速失败呢,就可以向全部节点发起释放锁的请求啊,我们也可以使用这个卢阿胶本来释放锁 这个整体来说实现起来还是比较复杂的,建议呢,还是使用这个瑞丽森来做一些处理,当然如果量不是很大啊,单机的这个瑞丽森实力呢就可以解决问题,自然就能够避开足 不同模式的坑,即使上了这个瑞瑞斯,呃,这个卡斯特模式呢啊,也不用太过担心啊,瑞瑞斯官僚的概率呢还是挺小的,尽量保证机器的稳定性就好了,减少发生此事情的概率对吧, 即使说挂掉了啊,也可以做好监听来人工处理吗?啊,基础不够人工来凑吗对吧?好了,本期的视频呢就是谢了,如果您对本期的内容呢有任何疑问,欢迎大家在评论区给我留言,谢谢大家。

reddis 的哨兵机制和集群有什么区别?这个问题是一个工作两年同学在面试的时候遇到的,如果你不知道怎么去回答这个问题,记得认真看完这条视频。哈喽,大家好,我是麦克, 外面是你的文字版本,我已经整理到了一个二十万字的面试文档里面有需要的小伙伴可以在我的评论区去领取。下面我来分析一下这个问题的考察目的。 这个问题的考察难度并不大,工作三年以上啊都会遇到,只是不同的工作年限对面试的深度会有一些差异。 考察这个问题的目的无非就是看看求职者是否了解 reds 集群啊,以及是否有自己去搭建过 reds 集群。对于工作两年同学来说啊,回答不需要太深入,但是五年以上的同学会以这个问题作为切入口,去深度考察求职者对于 reds 集群和哨兵机制的底层原理。 reddis 集群有几种时间方式,一个是主从集群,一个是 reddiscluster。 祖从集群啊,就是在 reddis 集群里面包括一个 master 节点和多个 slave 节点。 max 节点呢,负责数据的读写, slove 节点负责数据的读取, mass 节点收到数据变更会同步到 slave 节点上去,实现数据的同步。通过这样一个架构,可以去实现 reds 的一个读写分离,提升数据的查询效率。但是啊, reds 主同集群,不提供容错和恢复的功能,一旦 mass 节点挂了, 会自动选举出新的 master, 导致后续的客户端所有的写请求直接失败。所以啊, radis 提供了哨兵机制,专门用来监听 radis 组成集群,提供故障的自动恢复能力。哨兵会监控 radis 组成节点的一个状态,当 master 节点出现故障的时候,会自动从剩下的 节点里面去选举出一个新的 master。 哨兵模式下,虽然解决了 master 选举的一个问题啊,但是在线扩容的问题还是没有得到解决,于是就有了第三种情绪方式, radis cluster, 它实现了 radis 的分布式存储,也就是每个节点存储不同的数据,实现数据的分片功能。在 radis class 里面,引入了 slot 潮来实现数据分片 是绕腿的,整体处理范围是零到幺六三八三,每个节点会分配一个十绕的区间。当我们存取 k 的时候, reds 会根据 k 去计算得到一个十绕的一个词,然后找到对应的节点 进行数据的读写。在高可用方面, rediscost 呢,引入了补充复制的一个模式,一个 master 节点对应一个或者多个 steve 的节点,但 mass 的节点出现故障的时候呢,会自动从 steve 节点去选举出一个新的 master 继续提供服务。 rediscost 呢,虽然 解决了在线扩容以及故障转移的能力,但同样它有缺点,比如说客户端在实线上会更加复杂,此类节点只是一个冷背节点,不提供分担读写操作的一个压力。在 matis 里面的批量操作指令会存在限制。 因此啊,组成模式和 class 模式各有优缺点。在使用时候呢,我们需要根据场景的需求来进行选择 好的面试官,因为 reddest 齐群呢,有两种,一种是主动复制,一种是 reddest cluster。 呃,我不太清楚你问的是哪一种,按照我的理解呢,我认为你可能是说的 redis 哨兵集群和 redis 的 class 的之间的一个区别。对这个问题啊,我认为可以从三个方面来回答。第一个, redis 哨兵集群呢,是基于组从复制来实现的,所以它可以实现读写分离,分担 reds 独操作的一个压力。而 reds class 集群里面的 内部节点呢,只是实现冷背的一个机制,他只有在 mass 的荡气之后才会工作。第二个, reds 哨兵集群呢,无法在线扩容,所以他的并发压力受限于单个服务器资源的一个配置。 reddis class 的提供了基于斯洛德潮的一个数据分片的一个机制, 它可以实现在线扩容,去提升读写的一个性能。第三个,从集群的价格来说, ready 哨兵集群呢,是一组多重,而 ready's class 是一个多组多重的一个机制。以上就是我的理解, 遇到这类的问题呢,要学会用结构化的思维去整理好自己的思路,然后再根据体内的结构去回答,表达情绪又有逻辑性,这样的话更容易获得面试官的认可。 好的,今天的视频就到结束了,关注我,每天分享一道技术面试题,我是麦克,咱们下期再见。