马尔科夫链推导过程

欢迎观看二零二二年树之道系列的第一期节目，这里祝所有的小伙伴新年快乐，新的一年里身体健康，事业、学业、家业顺利。 在之前五期节目中，我们分别用三期节目介绍了马尔克夫练的基础知识，两期节目介绍了蒙特卡洛模拟的两种抽样方法。 今天我会把这两个主题结合起来，带大家走进马尔克夫列蒙特卡罗方法 mark of chain monte carlo method 以下简称为 mc mc， 错过前面节目的朋友们完全不用担心，我会在本期节目中将重点概念再为大家重温一遍， 相信节目之后你一定能够更好的理解 mcmc 这以数据分析数据科学领域中的核心知识点。 由于本期内容涵盖知识点非常多，所以我会分四个章节进行介绍。一、从上两期节目中所介绍的逆转换接受拒绝抽样方法的局限性出发，引出为什么我们需要设计新的抽样方法。 二、为什么马尔克夫练元素的加入能够有效提升抽样效率？这背后的理论依据又是什么？三、 mcmc 方法之 metropolis hastings 算法的设计思路详解。 四、使用 r 语言对 metropolis 算法进行模拟演示。那么现在就让我们正式进入本期节目的核心内容。第一章，逆转换接受拒绝抽样的局限性在 前两期节目中，我们分别介绍了使用逆转换方法和接受拒绝方法进行抽样。在使用逆转换方法的过程中， 需要先对目标概率密度函数 pdf 求积分，得到累积分布函数 cdf， 再对 cdf 进行反函数求解，得到从均匀分布到目标分布的转化函数，这样就能实现从简单均匀分布出发，得到满足复杂目标分布的随机值了。 但之前求积分和求返函数的步骤却能给大家造成足够的麻烦，因此我们有了第二种抽样方法，接受拒绝方法。 接受拒绝方法中，我们需要设计一个简单的建议分布函数 gx， 再通过放大系数 m 让 m 乘 gx 落于目标函数 fx 上方，通过在 x 轴上根据 gx 生成随机值坐标 a， 然后在 y 轴上根据零到 m 乘 ga 的均匀分布生成随机坐标 b。 通过判断坐标 ab 是否能够落入接受区域来判定 a 能否最终被成功抽取。 不过该方法也有他的局限性，由于 m 乘 gx 需要处处大于我们的目标函数， 因此当目标函数是如图中形态的话，接受区域占比会非常小，真正实操阶段会耗费大量的时间和资源才能抽取足够的样本。了解了以上抽样方法的 线之后，我们再看 mcmc。 第二张 mcmc 为什么能够有效提升抽样效率呢？之前接受拒绝抽样效率低的原因之一是由于其没有充分利用前期的信息。 比如，当根据建议分布 gx 抽样出的 xn 恰好出现在其目标分布中的高密度区域时，如果下次抽样 xn 加一能够在这附近抽取，其接受的成功率自然也会相应较高。 但在接受拒绝方法中的每次抽样都是独立的，且建议分布函数不变， xn 的信息在下次抽样动作前会完全抹去，所以有相当的概率下次抽样会返回高拒绝区域的值。因此， 从直觉出发，我们需要让这个建议分布动起来，保留前期有用信息，并影响下次抽样。这样抽样效率是不是就更优了呢？为此，我们将马克夫恋的思想加入其中，最终流程会是这个样子的。 假设，我们根据初始的建议，正态分布 g x 零 c 个码进行抽样， x 零为初始设置的均值， c 个码为标准差得到 x 撇。假如 x 撇符合我们预设的规则， 我们则把 x 撇赋予 x e 作为鸡的均值参数用于下一次抽样。相反，假如 x 撇不满足规则，那么我们就会将原 零的值负于 x 一作为鸡的均值参数用于下一次抽样。这个链条会一直持续下去并收敛，达到稳态。 在马尔克夫练的节目中，我们介绍了稳态分布转移矩阵的概念。假如马尔克夫练的转移矩阵满足便利性，那么它存在唯一的稳态分布。现在你可以这样理解上面的 mcmc 链条， 我们就是需要设计这样一个判断规则，他能够起到转移矩阵的作用，让该链条能够收敛至稳态分布。而这个稳态分布就是我们目标函数概率密度分布了。 达到稳态后抽取的随机值就等同于从目标分布中进行抽样了。 到这里或许你还会有些迷茫，没关系，可以重温我们数字到十八到二十二级，然后再来体会我上面说的内容，一定会豁然开朗。 接下来让我们深入 mcmc 的具体算法之 match prolex hastings 算法。我会将上面的理论思路具象化，通过 mh 算法帮助大家更好的理解其精华。 第三张， metropolis hastings 算法 mh 算法的设计用到了马克夫链中一个叫做细致平稳 detailed balance 的概念。 我们假设有这样一个满足便利性的马尔克夫链，各状态已达到唯一的稳态分布 s， 如果其转移矩阵 t 满足下面的公式 s i i 乘以 t， i to j 等于 s， j 乘以 t， j to i， 我们撑起满足细致平稳条件。我会借用十九集中的例子介绍这里需要特别注意的两个点，第一点，并不是所有的稳态分布都满足细致平稳条件，比如该例中的稳态分布不满足细致平稳。 第二点，满足细致平稳条件的状态分布达到稳态分布。稳态分布有如下特点，项链 s 乘以矩阵 t 等于项链 s， 他的矩阵表达形式如下， 为了论证细致平稳条件也是稳态，我们就需要验证上述等式在细致平稳下也成立。 我们对细致平稳条件等式两边根据哀求和，然后等式右边做如下调整得到，因为从 j 状态转移去至所有状态的概率和为一。 因此最终下面的等式成立，符合稳态条件，证明完毕。我们可以用下面通俗的语言来进一步解释细致平稳公式。 从等式的两边来看，他等同于在说从处于状态 i 下期转移到状态 j 的概率与从处于状态 j 下期转移到状态 i 的概率相同， 他将对后面 mh 算法的构建起到决定性的作用。还记得第二章中的这句话吗？ 需要设计这样一个判断规则，他能够起到转移矩阵的作用，让该链条能够收敛至稳态分布，而这个稳态分布就是我们的目标函数分布。那么我们就是需要设计这个规则，能够使上述等式成立。 其实，等式的每一边都包括了两个步骤，步骤一，从旧状态下选出新状态作为候选对象。步骤二，判断是否需要转移至新状态。 我们用具体的数学语言来对这两个步骤进行推倒。步骤一，当已达到稳态，处于状态 i 的概率为 s i， 然后根据建议正态分布 g i c 个码，生成新的随机 值 j。 我们用 g j 基于 i 代表着均值参数为 i 时， j 被抽取出的概率 s i 乘以 g j， g i 则代表了从处于状态 a 下，根据 g i c m 选出了下期后选状态 j 的概率。 步骤二，我们定义 a j 基于 a， 它代表了接受 j 作为 a 转移后状态的概率。 两步相乘得到 s i 乘以 g j， g i， 再乘以 a j g i， 这就完美表达了从处于状态 a 转移到状态 j 的概率。同样的， sj 乘以 gig 与 j 乘以 aig 与 j 则代表了从处于状态 j 转移到状态 i 的概率。 两个公式在细致平稳条件下相等则有，其中 g j 基于 i 乘以 a， j 基于 i 和 g i 基于 j 乘以 a i 基于 j 对应了我们转移矩阵中的 t i to j 和 t j to i。 我们将上面的等式变换一下，得到 metropolis hasting 算法提出了一个满足上市等式的结法如下， 值得注意的是，由于基服从正态分布，它是对称的，那么基埃基于 j 与 g j g i 相等，两者相处抵消上述公式进一步得到精简。现在最后的问题是怎么求 s？ 由于我们知道函数 sx 就等同于我们的目标概率密度分布函数 pdfx， 而 pdfx 又等于我们的目标函数 fx 除以标准化常数 c， c 为 f， x 与 x 轴为成的积分值。很多时候 c 很难求解， 那么我们把 s j 等于 f j 除 c 和 s i 等于 f， i 除 c 带入上述等式，得到最终公式 a j 基于 i 等于一和 f j 除以 f i 中的最小值。这便是最初的 major produce 算法。而后期加入的 g i， g 与 j 除以 g， j 基于 i 作为 hastings 参数，则进一步扩大了该算法在非对称建议分布下使用的适用性。 到这里，之前提到的规则就已经设计出来了，我们有了建议分布 g， 同时有转移接受规则 a， 那么就可以顺着这个规则链条达到稳态分布，完美实现从目标分布中抽取随机值了。 让我们进入最中章第四章 metropolis 算法 r 语言实力在这个例子中，我们有一个，有两个正态分布，根据相应权重构成的新分布，设计一个 标准差位零点五变量 x 作为均值的正太分布。抽样公式 q， 为后续从该分布中抽取随机数做准备，需要提点标准差，可以尝试不同值来比较最终的抽样效果。 设置一个包含了一万个值的数据集合 x 覆盖初始变量 x 一为一 初始值，可以尝试不同值来比较最终的抽氧效果。接下来进入循环语句，循环九千九百九十九次， 每次循环哎。将当前的 xi 值作为变量 x 录入建议正太分布抽样公式 q 中得到心值 x j。 将 x i， x j 套入第三张 当中的 metropolis 公式，计算接受概率 a。 为了做出是否接受 xj 的决定，我们可以引入一个服从零到一间均匀分布的随机值，让他与 a 比较。 当 a 大的话，用 x j 值覆盖 x i 加一，否则用当前 x i 值覆盖 x i 加一。 完成循环后，我们可以绘制更新后的数据集合 x 的直方图，可以看到其能够很好的满足目标函数分布。 新年第一期数字到节目就到这里了，希望大家喜欢本期节目。今年除了本系列之外，我还会开一档新的节目，和大家分享一些工作学习方面的心得，让我们在新的一年里共同进步，那么下期节目再见！

我们常讲是金子到哪都会发光，那么我们从马可夫恋的这个视角来理解下这个事情。马可夫恋的话，我先举个实际的例子，就是假设我们有个地方新开了三家饭店，那三家饭店呢？他 厨子不一样，他做的菜的品味也不一样，那顾客来了之后呢？他会有一个就是选择，他吃完你家的饭，他会有一个选择，你比如说我下次还来你家， 我有个概率，那完了之后呢？我去 c 就是 去另外一家的概率，那咋定啊？我 a， 我 吃完之后，我感觉味道还不错，零点一，零点八，我就下次还来的概率大，这个是零点一，这个是零点一。那 b 的 话以此类推。 b 呢，他做的就， 嗯，稍微好一点，零点六，他来这里呢是零点二，来这里零点二。 c 呢，可能做的口味相对差一点，零点四，来这呢是零点三，零点三， 那么这是三个饭店，就是顾客在三个饭店吃完之后，他本身就是说我要去，我要下次还来的概率，那么这个概率呢？他就形成了一个就是概率矩阵。 那马克福亮讲的讲的是啥呢？就是刚开始，因为大家都对于 abc 这三家饭店呢，他的口碑一开始我是并不知道的。 a 可能借助地理优势，或者是借助他的宣宣发，他可能刚开始吸引了两百两百个客人。 b 呢，吸引了一百个客人。 c 呢，也吸引了一百个客人。那你想一下，当一百个客人，他下次还来的概率 就是当第一波食客吃完之后，他下次再来 abc 三家饭店，他怎么算呢？对于 c 来说，那就是我下次还来的概率一百乘以他，然后再加上 a， 这样来的人下次到他的概率，然后 b 到他这的概率，那整体来说呢？我就是这是 a 两百，对吧？ b 是 一百， c 是 一百，这是初始的 出水的人人的分布数，那我状态转移概率呢？就是我最后求的是我下一次 a 的 值， b 的 值， c 的 值，那这一溜呢？就是 a 的 到 a 的 概率， a 本身是零点八， b 到 a 的 概率是多少呀？ b 到 a 的 概率是零点二， c 到 a 的 概率是多少？零点一，那么以此类推，这个是两百，两百就是在 a 到 b 的 概率，这个是初识的人数，那么这个呢？就是我整体的一个状态转移矩阵， 那么整个这一个矩阵呢？就代表了它乘以它这个状态转移矩阵，那么就代表了下一次到 a 放点的人到 b 放点人，那经过这个多次迭代，那 a 这个地方呢？这个矩阵呢？我可以就这个次数 t， 当我经历很多次的时候，这个 a、 b、 c， 它的值呢？它就趋于一个定值了，这个定值最终停留在 a、 b、 c 的 定值，它并不取决于 a、 b、 c 的 出事条件。 那马卡夫列呢？它整体在说这样的事情，就是当我们的状态移动状态，或者是状态转移概率，如果在不发生变化的时候，它并不会因为你的出事条件 而发生改变。其实就是在说，当一个事情他大体的概率处于某一个状态，就说他整体的一个概率选择处于某个状态的时候，只有中间的这些概率状态， 他并不依赖处事条件，那么最终结果呢？他只只依赖于中间的这种状态，这，这也就是说我们在常规的这种群聚能， 你比如说基因算法或者蚁群算法这种，我们是通过这一定的这种概率选择，那些概率选择它是固定的，我基础的这种形态变化是固定的，虽然它中间有概率，但是我们最终能够指导系统 通过一些激励函数或者是一些选择函数，让系统一开始无论在什么条件，最终我们达到某一个状状态，这个是一个概率的视角，我们知道物理学四大四大神兽其中有一个就叫拉普拉斯幺，拉普拉斯幺呢？它是在说，当我知道宇宙所有当前粒子的运动状态， 那么我就能知道宇宙的未来和过去，如果我拿到全部的定力的话，这是一种确定性的描述。马可夫列呢，我是通过这种概率性的这种整体的这种视角来看你中间的这种，只要是概率选择不变，那么 最终的结果他就是不变的，他并不会受初试条件。也就说一个人无论你一开始你是什么样的状态，你只要能够做出一些合理的选择，或者是有些好的一些解决问题的模式，那么最终结果他就是好的。

好的，那么今天我们一块去看一下马尔科夫恋的问题。那马尔科夫恋就是我们俄国的数学家马尔克夫，他提出来的一个概念，他主要表示的就是 我们在空间的状态中，这个事件从一个状态到另一个状态转换的这个随机过程中，他要具备一个非常重要的概念，那叫做无记忆性。什么叫做无记忆性？那也就是说我们下一状态的概率分布只能由当前的状态决定， 与他前面的事件是没有关系的。也就是说如果说这个事件我们判断出来了，他的下一次的这个状态的概率，只能由我们当前的状态来决定的时候，他呢就是一个马尔科夫链的一个问题。对这个问题我们处理他的方法可以用马尔科夫链进行处理。 ok， 那 么我们比如说常见的什么随机游走模型，他就是一个随机漫步，随机游走都是一个马尔科夫点，因为他在下次走动这个过程中，是不是与之前没有关系，就只与他当前的这个状态有关了。那这样比如说我们看这个十九题，这个十九题告诉我们， 他说一动点 p 从 a 点出发，并且呢正方形 a、 b、 c、 d 的 各顶点上移动。他说每次移动时，动点 p 有 三分之二的概率沿水平方向向左或者向右移动一次， 三分之一的概率向垂直方向向上或者向下移动一次。他说每次移动相互独立设点 p， 移动了二 n 步之后，停在点 a 的 概率为 p n， 让我们算 p 一 p 二，那就是说 n 如果等于一的话，那移动了两步之后，提停到 a 点的概率 就是 p 一， 那我们不妨先算一下 d o。 p 一 的意思就是说我们移动了两步之后停在了原点，那我们假设我们此时设事件 a n 为沿 n 次沿水平方向移动，那我们的 b n 为 d n 次沿数值方向移动， 那么此时 p 一 就是说移动两步之后它位于原点的概率，所以呢， p 一 的话，那就相当于是我们有两种情况，对吧？第一种情况就是向左向右一个，并且向左一个有可能是向上一个，并且向下一个，就是移动两步之后它为原点。是不是只有这种情况？那也就是说 p 一 我们就等于 p a 一， a 二 再加上一个 p b 二就可以了。那就是说水平移动了两次，回到了一回，回到了原点， 水平移动两次的概率就是三分之二的平方。垂直移动两次概率就是三分之一的平方，所以就九分之四加九分之一等于九分之五，这是你的 p 一， 那么此时 p 二等于多少？ p 二的意思就是说他移动了四次，移动了四次之后位于原点。比如说假设第一次他移动了 b 点，那么他有可能移动第一步，第二步向上一个，再向左一个，再向下一个，是不是我们也回到了原点？ 然后呢，还有另外一种情况，他是向左一个，向右一个，再向左一个，再向右一个，这是第一种情况。第二种情况有可能是上下上下四次，有可能是我们 上上左下右。反正呢，我们说了，如果他不是只有上下或者只有左移动的时候，也就是说只能是左右两次，并且呢上下两次一共移动了四次，所以呢， p p 二呢，就等于一个 c 四二四次里面我们挑两次向左右移动，并且呢有一次两次上向向上下移动是不就可以了？然后再加上，那就是四次左右移动，或者四次上下移动，那就是三分之二的四次方，再加上一个四次上下移动三分之一的四次方， 这个算出来，我们加完之后是也是八十一分之四十一，八十一分之四十一就可以了。这个是我们第一问的做法，那么第二问求 p n 的 通项公式，那也就是说 我们移动了二 n 步之后，停到了点 a 的 概率是 p n， 所以呢，连续移动了二 n 步之后，他停到了 a 点的概率是 p n， 那 这种情况是不是一种情况？比如说我们现在去设连续移动两步，他的位置发生了变化。还有一种情况就是连续移动了两步，他的位置没有发生变化，是不是只有这两种情况？ 比如说假设我们连续移动两步动点位置变化的概率，比如说我们假设它是一个 p 动点，位置不变的概率是一个 q， 那 么此时我们根据全概率公式，则我们的 p n 就 可以等于什么。 那么此时我们的 p 等于什么？就是说连续移动两次它的位置，则我们 q 的 概率就可以写出来。 q 的 概率呢，就是 p a 一 a 二， 连续中两次左右各一次，再加上一个 p b 一 b 二，这个东西呢，我们第一问算出来就是九分之五，所以呢，我们的 p 就 等于一减 q， 那 就是位置发生变化的概率等于一减 q 等于九分之四。所以呢，根据全概率公式，我们可以得到这个 p n， 那 我们此时它的 p n 公式就等于一个， 因为二 n 移动了二 n 次，它停在 a 点的话只有两种，一种就是说我们移动了位置不变，加上 d n 减一次的。移动的过程中呢，位置没有发生变化的概率，那也就是说我们的 q 乘以一个 p n 减一，然后再加上一个一减 q， 那 也就是说我们的 p 乘以一减 p n 减一。 也就是说我们第 n 次要到 a 点，有两种情况，第一种情况，我们第 n 减一次，在 a 点的概率乘以它没有动的概率，再加上我们移动的 n 减一次，它不在 a 点的概率乘以它，它两连续两步 进行移动的时候，它位置发生变化的概率就可以。比如说，如果呢，我们的这个 n 减一步的时候，它的位置不再点 a 的 话，它的概率是一减偏减一， 连续移动两步，它的位置要发生变化，你要么是这么移动，反正不管怎么移动都会到 a 点的。所以此时我们只需要去 p q 乘以 p n 减一，加上一个一减 q 乘以一个一减 p n 减一，它自然就会使到二 n 处，二 n 步的时候就移动到了 a 点。 好，那了解了这个原理之后呢，我们接着继续往下看运算就可以了。那就是 q 的 话呢，我们刚第一步算出来是九分之四乘以个一减 p n 减一， 所以就等于九分之一倍的 p n 减一，加上一个九分之四等于 p n。 那 么此时的话呢，我们利用构造法去求数列通项的形式是可以把 p n 算出来的， 所以呢，我们两边同时给它加一个 p， 减一分之 q 等于 p 减一分之 q， 那 就是九分之一。减一分之九分之四，就等于一个负的二分之一。所以呢，我们会得到 我们 p n 减二分之一，就等于九分之一乘以 p n 减一，减二分之一。这样的话呢，我们根据等比数列就可以把 p n 给它算出来。那么此时我要证明的是， p 一 减去二分之一，这个手相是我们的 p e p e 刚算出来是九分之五，那也就是说 九分之五减去二分之一，等于十八分之一。所以我们会得到了 p n 减二分之一，就等于手相是十八分之一，那就是十八分之一乘以一个 九分之一的减一次方。所以此时我们的 p n 的 通项公式就可以算出来， p n 就 等于 二分之一，乘以一个九分之一的 n 次方，再加上一个二分之一。接着去看第三个，他说当移动二 i 减一步的时候， 记 p 的 前二 n 次移动中到达过 b 点的次数为 x， 在 移动这个过程中，到达 b 点的次数是 x。 求证 e x 小 于十三分之六加二分之 n。 他 说随便的 x f 从两点分布 x i 等于一的时候是 p i， 当 i 大 等一小等 n 的 时候，他说求的这个和就等于它的概率求和。那也就是说，我们来分析一下，说当我们去设 移动了二 n 减一步后，动点停留在点 b 的 概率是 q n。 根据全概率公式，那我们的 q n 就 等于一个 三分之二乘一个 p n 减一，加上三分之一乘一个一减 p n 减一，也就是说移动到二 n 减一步的时候，它的上一步二 n 减二步二 n 减二步，那就是 p n 减一，就相当于是我们要么是左右移动，移动了 b 点，要么是上下移动，移动了 b 点。那也就是说，假设 p n 减一，就是 n 减一处， n 减一，移动了，在 移动了二 n 减二步后，它停在 a 点的概率，那也就是说给它乘以一个三分之二，那么在 a 点呢？有可能在我们的 d 点，有可能在我们的 c 点，那就是说乘以三分之一，你是数值运动，然后才能到我们的 b 点就可以了。 所以呢，这个式子进行一个化简呢，就是三分之一 p n 减一，加上三分之一，然后嘞，构造法求税通向六分之一，乘以九分之一的 n 减一次方，加上二分之一，此时的 n 大 于等于二，我们的 q 一 的话，就等于一个三分之二。所以呢，我们知道了 q n 就 等于六分之一， 乘以九分之一的 n 减一次方，加二分之一就可以了。那么此时我们说，当移动了二 i 减一步之后，动点不停留在点 b， 则我们的 x i 等于零，停留在点 b， 那 我们的 这个 x 等于 q i， 它是不是将相当于是一个两点分布了？那就是说我们的 x i 服从两点分布 p x i 等于一的时候，那就是 q i 了。所以呢，我们要算它的和，就是让我们算的是 q n 的 前 n 向和，所以我们会得到 e x 就 等于一个 求和。 i 从一到 n x i， 那 就等于一个 i 从一到 n， 我 们的 q i 就等于我们六分之一，乘以一加九分之一的一次方，再加一个九分之一的平方，一直加到了九分之一的 n， 减一次方 完了之后，再加上二分之一乘以 n。 所以呢，我们进行一个运算求和公式间运算，运算完之后，它就等于一个六分之一乘以一减九分之一分之 一，减九分之一的 n， 减一次幂，再加上二分之 n， 这个东西它是要小于六分之一加上一个九分之八分之一，再加上二分之 n 的， 所以呢，就等于一个二分之 n 加上十六分之三。所以我们就证明了 e x 小 于十六分之三加二分之 n。 也就是说最后的这个 p 点在二 n 次移动中到达过点 b 的 次数的意思就是我们在二 n 减一处停到了 b 点的概率 是一个 q q n， 把这个概率算出来之后呢，你发现他说这个次数呢，就是这个概率的求和，所以呢，我们就可以算出来到达他次数的这个概率是多少， 然后完了之后呢，用一个求和公式进行决策就可以了。 ok， 这个就是我们马尔科夫列去解决一维有懂模型的方法，这个问题呢比较复杂，希望大家下去呢多看几遍，认真总结。

大家好，今天呢，我们来讲一下概率题里面的马尔克夫恋，从去年高考开始呢，这个马尔克夫恋也算是一个热门的考点，其实你只要玩过汉诺塔这个游戏，你就能理解马尔克夫恋。 这个马尔克夫恋呢，也叫马尔克夫恋，翻译的不一样啊，其实都一个意思，他是什么呢？一看啊，这个就是条件概率。 那你看马尔克夫恋，他只跟上一个状态有关，上一步有关，他跟上上一步，上上上一步都是没有任何关系的，能清楚吧，可以抹掉他们的影响，比如说这个 x 五代表第五步的这样一个概率， 他只跟谁有关啊？只跟第四步的这样一个状态，这样一个概率有关，那么跟前头有关吗？跟前头的 x 三， x 二、 x 一都是没有任何关系的，这个呢就成为马尔克夫恋。马尔克夫恋呢，一般情况 下是可以转化成数列地推问题的啊，看清楚了，没有记忆性，他只跟上一步有关哈，跟上上一步就没有关系了。也就是说 dn 加一步的随机变量， 在给定了第 n 部随机变量后，这个第 n 加一部只跟第 n 部的状态有关，跟其余的随机变量呢，是独立的。那么什么意思啊？咱们来做一个经典的游戏吧，撼动塔的游戏， 这个哈诺塔游戏呢，首先是有 a、 b、 c 三根柱子，然后啊可以有很多的小圆环，可以有一个，可以有两个，我们图中呢，画了三个这个圆盘， 这个圆盘的话大家要注意哈，每次我们只能够移动一个盘子，我们的目的呢，是从 a 柱到 c 柱上， 把所有的盘子从 a 柱到 c 柱上，那么首先第一个规则，每次只能移动一个盘子，其次第二个规则，你的大盘子不能出现在小盘子的上面，也就是说最小的盘子如果在这的话，你大盘子就不能出现在上方，这个情况如果出现就是错误的，只能是小盘子落在大盘子上面。 那么第三个移动过程中啊，你 a、 b、 c 中任何一个柱子上都是可以出现的，就这样一个小游戏，每次只能移动一步。那么现在看了我们举个非常简单的例子，如果只有一个小圆盘的话，从 a 柱到 c 柱上，我们显然只需要一步， 那么如果说只有两个上面一和二这两个小圆盘呢？这个也是非常容易的，我们只需要怎么样？只需要先把一挪到这吧，然后呢再把中间这个盘子呢挪 到 c 柱上，然后呢再把它挪过来，所以它需要三步。那么现在啊，我们来探究一个问题，就是这个 h 三等于几？就是当 a 柱上出现了三个圆盘，我们需要把三个圆盘都移动到 c 柱上，一共需要几步？需要几步呢？来吧，杨老师做了一个游戏哈，看好了， 首先看 a 柱上有三个盘子，首先第一步，我们可以把最小的盘子挪到，这没问题啊， 然后接下来第二步可以怎么样？可以把中间这个盘子呢？中等大小的盘子挪到 b 柱上来，就挪到 b 柱上了， 那么接下来这一步需要干嘛呀？接下来这一步，我们可以把最小的盘子再挪到 b 柱上，那么再接下来这一步，那么就可以把谁把最大的盘子从 a 柱直接挪到 c 柱上， 其实就快成功了哈，那么再接下来，你不可能说一步把两个盘子都移上去，需要干嘛？需要先将小的移到 a 柱上， 然后呢，再将中等大小的这样一个盘子移到哪？移到 c 柱上，最后一步，再把最小的盘子移到 c 柱上就行了。一共是几步啊？一步，两步， 这是三步，四步，五步，六步，再接下来这一步就成功了。杨老师玩了一个小游戏啊，那么一共是需要七步，那么所用时长呢？是二十五点八秒，挺慢的，我只是为了教会你怎么去做这个游戏而已啊，其实我可以更快哈。 那好了，做完这个游戏之后的话，现在我们就找出来了一点小小的规律，只有一个盘子从 a 柱移到 c 柱上，那只需要一步。如果是两个盘 盘子的话，那就是三步，如果三个盘子，那就是七步，如果四个盘子呢？那我们在做这个游戏也就没有什么必要了。我们可以这么来理解，什么意思啊？如果是有四个盘子的话，我们可以考虑整体法呀， 把上边这是几个盘子，三个盘子看成一个整体，我们把它看成 h 三，这个是没有任何问题的吧？我们可以把这个整体怎么样啊？我们的目标是把四个盘子所有的盘子都移动到第三个 c 柱上。 第一步干嘛？先把这个整体挪到哪啊？挪到 b 柱上，然后呢，再把最大的这样一个大最大最大的盘子移动到 c 柱上，没问题，然后再把这个整体 给挪到哪？给挪到最上面，这不就可以了吗？但是你要注意，我们现在用的是整体法，这样一个地推或者地规的思想。 那么接下来告诉我整个这个整体移动了几步？移动了两步。所以说我们这个 h 四和 h 三是有关系的，这个 h 三因为移动了两步，需要乘一个二， 但是最下边这个四也需要移动吧？最下边这个四需要从 a 柱移到 c 柱上，它确实就是移动了一步 加一就行了。所以接下来如果让你算这个 h 四的话，我相信任何一位同学都清楚了， h 四等于二乘 h 三，二乘七加一，那不就是十五吗？我们看一下这种数据，一三接下来是七，接下来是十五，那再接下来的话肯定是三十一，所以什么意思啊？所以 他就等于二的 n 次方减一，作为小题的话，这个就够了，但是作为大题表明你还没有完全理解这道题什么意思啊？来，万一上面有多少个？万一上面哪怕有一百个盘子呢？无所谓，上面九十九个盘子，我看成一个整体，是不是就可以理解为九十九啊？ 九十九移动一步，然后呢再把最下边这个最大的盘子移动一步，然后呢这个整体再移到上边去就可以了。所以说 清楚了吧，当我们算 h n 的时候，只需要把最上面的 n 减一个盘子看成一个整体，它在整个过程中需要移动两次， 把最下边最大那个盘子移动一次，这就是这样一个地推的思想。那么接下来只要你理解了这样一个地推公式，是不是很简单呀？当什么时候我们把最上 开个盘子看成一个整体吗？从 a 移动到 b 柱上，就这样一个过程，地推公式有了，那么接下来根据 h 一等于一首相知道地推公式知道，那么最后肯定可以推出来啊，非常简单的，其实就是个数列问题啊，你看清楚了 他等于什么？他是等于二乘 an 再加上一的，并且首项我们知道了，只有一个盘的时候，只需要移动一步，所以接下来方法非常多啊，我们完全可以采用什么方法，采用构造的方法构造成相同类型的，左边加个一， 右边也加个一，就变成二了。当我们把二提出来以后，哦，所以说我们构造的这样一个数列，构造成了一个什么数列？它是一个等比数列，那么它的手相是多少呢？ 他的手相当然就是 a 一加一等于二了，那么他的公比是多少呢？公比显然是等于二的，所以说既然手相有了，公比有了，所以清楚了吧。 这个 an 再加上一就是 dn 项，它是等于首项二再乘二的 n 减一次方的，也就是说 an 加一是等于二的 n 次方，那 an 不就是防刚才符合我们的要求吗？二的 n 次方减一就可以了。所以这个东西确实不是很难，你自己推总能推出来的。那么接下来我们做两道题啊，这道题非常有教育意义，就是教给大家不要赌博 来，我们假设赌博的过程都是怎么样，都是非常公平的哈。假设有一名赌徒进入赌场参与这个赌博游戏了，大家不要参与哈， 每一局这个赌徒赌博，假设他赢的概率是百分之五十，输的概率呢？每一局也是百分之五十，还是挺公平的，是吧？其实很多时候是不公平的啊。嗯，包括出老千的情况，如果你百分之五十赢了，赢了，你就多加一块钱，输了，输了，你就减掉一块钱，清楚吧。 那么赌徒会一直玩下去，直到遇到什么情况结束呢？两种情况，第一种啊，好了，赌的什么都不剩了啊，什么都不剩了，没有赌金了，那这个时候输光了，当然就结束了，对不对？那么第二种情况， 当你手里边握的资金多到一定程度呢，这个赌博也会停止，比如说达到一万块钱的时候，他还挺知足的，也会停止赌博，就这两种情况，否则他就会一直赌下去，就看下 下边这个图，就能看清楚原来他手里的赌资是多少。比如说他手里赌资只有一千块钱啊，那么这个时候呢，他要开始赌博了，要么赢，赢的概率是零点五，每赢一局加一块钱，每赢一局加一块钱。哦，一直赢，也可能是输，也可能是又有输又有赢，这个过程啊，还是挺麻烦的。 那么接下来什么个意思啊？来，他说了，表示已经告诉你怎么表示了。当赌徒手里 就是有 n 块钱的时候呢，他最终输的概率是 pn， 清楚吧？哦，输的概率是 pn， 那么请你直接写出 p 零和 pb。 p 零，大家知道什么意思吗？手里一块钱都没有了，没有这个赌金了啊，没有本金了，没有本金你还赌什么？赌啊，所以你肯定就输了吧，输的概率就是百分之百， 你写成一就行了，没问题吧？那这个 pb 代表什么呢？ b 啊，是他预期，比如说他还挺知足的，达到一万块钱的时候，当 b 等于一万块钱时候，而我也要走了，那我不是赢了吗？ 那此时输光的概率不就是百分之零？因为我达到一万块钱，我就准备走呢，我不再赌了，所以就不会输，不会输，那输的概率不就是百分之零就是零吧。所以说这个括号一的话，就是保证你读懂这道题的意思了哈。那么接下来我们主要研究括号二和括号三，他就是一个马尔克夫恋。什么意思？ 括号二是让你证明 pn 是一个等差数列，你把这个数列求出来，并把公差求出来。怎么求呢？其实是好求的，我告诉你，这样的求啊，来吧，请你告诉我这个 n 是怎么来的。他只有两种可能，他只跟 上一步有关，他的上一步可能是 n 减一块钱，那么他剩了一句以后呢？加一就变成了 n 了，他的上一步也可能是 n 加一块钱，但是他怎么样？他输了吧。 如果你输了一局的话，是不是也要减一块钱呀？那么都可以变成 n， 所以需要分两种情况，分类加法技术原理嘛。所以这个 p n 一定是在这个 p n 减一和 p n 加一的基础上得出来的。那么具体来说需要怎么处理啊？他需要乘百分之五十，这个百分之五十呢？是剩的概率 清楚了吧？他乘百分之五十是 n 减一，剩了一局，那么就变成 n 块钱了，也有可能。什么情况呢？我上一局明明还是 n 加一块钱的，但是我 输了，输的概率也是百分之五十，这两个百分之五十不是一回事。第一个百分之五十是胜了的概率，第二个百分之五十是输了的概率，清楚了吧，这不就是一个马尔克夫恋吗？他跟上一局的状态有关，其实也是一个全概率公式啊，大家知道就行。 那好了，我们就写出来写出来了吧，写完这个之后的话就是一个数列地推，如果大家没有看出来，那我左边乘个二，右边也得乘个二啊。 n 加一，然后呢？ n 减一。没有看出来，他不就是让你证明等差数列吗？ 什么叫等差？熟练，其实已经正完了，每连续三项，这是一个等差中项的意思啊，如果你还没有看出来的话，索性你改成这个样子哦，他减去前一项一定是等于 前一项，再减去前前一项的，他俩是等价的呀。来，也就是表明每相邻的两项他的差值是一个长数，因为我这个恩是随便取的这个长数其实就是那个公差，清楚了吧，就这样一个等式呢，就完全可以说明哦，他就是一个等差数列了。好，我们继续往后。 那么写到这一步之后，我们要求公叉。怎么求公叉呢？多写几个不就行了吗？看了啊，等叉竖列。 首先 pn 减去倒数第二项，那你多写几项吧，倒数第二项减去倒数第三项，倒数第三项减倒数。所以说接下来如果再让你写的话，他肯定也是等于个什么东西， 也是等于一个常数地，这个地就是公差的。然后你把这 n 个式子或者 n 个式子都加起来吧，都加起来之后的话，哎，消掉了，最 最终只剩下这个 p n 减 p 零，因为是 n 个十字，那么就是 n 个 d 啊， p 零你已经知道了，等于几啊？当你手里赌资有零块钱的时候，你输的概率就是百分之百，其实就是一啊， 所以这个 p n 等于什么？等于一加上 n 个 d 呀，这不就非常简单吗，就得出来了。那么得完这个之后的话，你要注意的是什么？你要算的是公差呀， 比如说这个 b 是什么？ b 代表一万元，当我赢到一万元的时候呢？我输的概率就是零了。那我继续往后，你把这个 n 换成 b 不就可以了？ 那此时不就等于 b 乘他，那公差会算了吧。这个 p 零等于几？ p 零咱们已经知道了， p 零零减去一等于 b 乘 d， 所以这个 d 等于负一比上 b 吧。哦，原来负一比上 b， 他就是公差呀，清楚这个意思了。那么接下来第三问很有教育意义。什么意思？ 这个 b 等于二百就代表 a 等于一百。什么意思？就是这个赌徒刚进赌场还没有开始赌的时候，他手里资金呢，是有一百块钱的。 b 等于二百什么意思？ b 等于二百，就是说当我赢够两百块钱的时候，我就不赌了，或者我手里一分钱也没有的时候，我就不赌了。 那 b 等于一千是什么意思？当我赢过一千块钱时候，他不知足呀，他就不赌了。甚至有些赌徒更不知足， 他说他要赢够十万块钱的时候，他才要不赌，那这个时候他大概率是要输的裤衩都不剩了是不是？那不信我们来算一下哈，来看吧。解释什么？解释为什么 不要赌博？看好了啊，后边这个意思，当 a 怎么样的时候？当 a 等于一百的时候，此时由刚才的括号二就得出这样一个等差数列来，这个是非常简单的哈， 所以说这个 pa 就等于这样一个结果。 pa 是什么哦， pa 就是我手里的赌金是一百块钱时候呢，看我最后赢的概率来吧。 那此时 p 一百不就等于一减一百分之 b 吗？那现在当 b 等于二百的时候，他最终输的概率是百分之五十没有问题， 当 b 等于一千的时候，一减去一千分之一百，他输的概率最终输的概率是百分之九十。当 b 无穷大的时候，此时他这个概率是多少概率是趋近于 伊利啊，他输的概率几乎就是百分之百的。所以可以知道，如果你长期参与赌博的话，基本上不是，基本上你肯定是赢不了的。从概率上来解释， 也就是说，即便是这样一个看起来非常公平的游戏，你每局胜了，输的概率都是百分之五十的情况下，你一直玩下去，也会百分之百的输光的。所以这道题清楚了，大家不要参与赌博啊。那么接下来再做一道更难的例题，但它本质也是马尔克夫恋，我们解决前两问就行了。 什么意思啊？先用甲乙两个盒子，不透明的盒子啊。然后呢？两个红球，两个黑球，这个红球和黑球肯定是形状大小都一样，除了颜色之外都一样的啊。那么从两个盒子中各任取一个球进行交换，甲里边的球放到乙里边，乙里边取 球上的球放到甲里边，交换清楚了吧？重复进行 n 次操作后，我们记甲和中黑球的个数是 x n， 甲核中恰有一个黑球的概率是多少？是 a n 哦，然后恰有两个黑球的概率是 b n。 那么求 x e 的分布列 x e 这个一代表什么？代表我们在原来这样一个基础上，原来的基础上只进行了一次实验啊，只换了一次， 那么此时这个 xe 肯定是有三种状态的。哪三种黑球的个数吗？一共加一加起来有六个球，六个球里头只有两个是黑球，所以他可以等于零，也可以等于一，也可以等于二，还有别的情况吗？没有了，所以我们只需要算这三种 情况就行了，来吧。哎，也就是说交换一次之后呢？我假河里头一个黑球都没有了，那原来不就是假河里头把黑球黑球拿出来， 乙和里头把谁拿出来？乙和里头把红球拿出来，假黑球的概率是三分之一，一边拿出红球的概率是三分之二，那乘起来不就是九分之二了吗？这个清楚哈。 那好了，原来这个状态呢？是什么意思？经过一次互换之后啊，我黑球格数还是一，原来是一，后来还是一。那也就是说，我黑球换的黑球夹里边的黑球， 换的乙里边的黑球，或者甲里边的红球换着乙里边红球，最后看起来就像没有交换一样，清楚了吧？那就是三分之一，三分之一， 三分之二，三分之二，最后加起来九分之五，那还有什么情况？其实接下来就可以用减法了啊，我完全可以用什么？完全可以用一，减去九分之二，再减去九分之五，最后算出来九分之二，也可以应算， 也不麻烦来甲经过一次交换之后呢，甲和里头变成两个黑球了，那意味着甲里边第一次取出来的是红球，红球，然后取换了乙里边的什么球，换的是乙里边的黑球，这样的话，甲就从原来的一个黑球变成两个黑球，那就变成了，还是九分之二算出来， 那最后分布列很好写吧，这不就写完了，所以说第一题还是很简单的，我们重点来研究第二问，这个第二问很麻烦，说实话，但他呢，你要记住，我们看好了啊，这个 x n 加 一，他只跟 x n 有关，只跟上一步的状态有关，这个 x n 代表甲里边黑球的个数。那么分几种情况呢？其实就三种情况，第一种情况，当这个 x n 等于几的时候，等于，哦，我知道了，等于零的时候， 黑球的个数完全可以是零，然后也可以是什么，也可以是一，还有别的情况吗？也可能是二个，但是啊，一共六个球，里头最多只有两个黑球，所以只有零一二这三种情况，还有别的任何情况吗？ 没有了，所以接下来我们根据全概率公式就可以写出来了。他的基础。首先第一个基础什么呀？有可能他的上一步是甲里边只含有一个黑球的，甲里边只含有一个黑球的话，那此 此时你应该清楚我的意思吧，甲里边只含有一个黑球的情况下，那么看了我什么呀？我这个接下来再交换一次，那么黑球还是一个，他的概率是多少？上一步已经告诉你了，原来 哦，甲里边有一个黑球，那么交换之后还是一个黑球，那不就是假的黑球换乙的黑球，然后呢，假的红球换乙的红球，这不就是这样一个效果吗？清楚了吧？所以这个呢，应该是难不住大家的。 那还有一种情况，什么前提？有可能上一步是几个呀？有可能上一步呢，他是甲里边有两个黑球的，甲里边有两个黑球，现在甲里边要换成几个球了，下一步再经过一次交换之后，甲里边 换成一个了，那必须是甲里边的。什么甲里边的黑球哦，甲里边黑球是三分之几，这个时候是三分之二，换乙里边的红球，乙里边都是红球，所以成百分之百。那么还有一种情况，当上一步等于零的时候， 上一步等于。如果说上一步等于零，也就是说甲和里头都是红球，但是啊，下一步经过交换之后，变成一个了，那甲里边的红球不就是百分之百？再乘乙里边的黑球，那不就是三分之二吗？所以接下来很简单了哈，来吧， 当上一步只有一个黑球时候，这个九分值我已经告诉你怎么算了，当上一步他假核里头有两个黑球时候，三分之二乘一，当上一步这个假核里头零个黑球的时候，那就 一乘三分之二，才可能换过一个黑球来。清楚了哈，那这个 x n 等于一是什么意思啊？人家已经说了，你应该写成 an。 哎，如果恰有两个黑球， 干嘛恰有两个黑球，你这个地方应该写成什么？你这个地方其实应该写成 b n。 我们知道呀，全概率公式有一个完备实践组呀，这个 x n 等于一， x n 等于二和 x n 等于零，这就是一个完备实践组， 既然它的概率已经是 a n 和 b n 了，那剩下的概率肯定是百分之百，减去 a n， 再减去 b n， 所以剩下的 x n 等于零的概率，我们就直接写上一减 a n， 再减 b n 就行了。能清楚我的意思吧，那么接下来见证奇迹的时刻就到了，看好了来算出来是多少。这里 有个三分之二 bn， 但是这个地方有个负的三分之二 bn， 所以 bn 就消掉了，只剩下 an 了。关于 an 的什么数列？关于 an 的这样一个地推数列数列地推公式，你肯定知道了吧， 但是光有地推还不够，那么我们得出这样一个地推公式之后的话，大家想算这个 a 一对吧？ a 一的话，其实就是刚才我们括号一已经算过的，经过一次之后呢，他还是只有一个的概率，那其实就是九分之五嘛，所以 a 一是等于九分之五的，根据这两个数字就可以算出来了。 首先画成这样一种结果，我们知道了， a n 减去五分之三，他的手相就是他，然后公比就是负的九分之一，我们可以算一下这个手相啊，手相其实就是 a 一减去九分之五，那算完之后不就是九分之五， a 一减去五分之三啊，减去 五分之三，这不就是负的四十五分之二吗？我们看一下最后结果，是不是他，就是他啊，所以就算出来了。那么算完这个 an 的通向公式以后，这道题不就解决了吗？所以大家应该知道了吧。 一般来说，如果涉及到什么，涉及到马尔克夫恋的话，什么叫马尔克夫恋？马尔克夫恋就是说这个 n 加一次的实验，他的结果呢？他的概率呢？只跟上一次有关，他跟上上一次、上上上一次都是没有任何关关系的，这个就叫马尔克夫恋，而且他经常会结合到全概率公式。 比如说这道题，我们知道了它主要跟哪三种情况，它的上一步有可能是一，有可能是二，也有可能是零的，这就是一个完美时间组。 然后再结合这个全概率公式，就可以把这道题解出来了。应该清楚马尔克夫恋的意思了吧。分享课堂知识，感受数学之美。我是阿芳老师，下节课再见！

欢迎来到数学写修手册，今天我们看到的是马尔科夫恋问题的常规解法，那么对于马尔科夫恋问题的话，我们在上个视频中已经讲过了他的概念，也就是说我们马尔科夫恋他 满足的特殊性质就是无记忆性。那么无记忆性什么意思呢？我们下一状态的概率分布只由当前的这个状态决定，并且与他之前的这个事件都没有关系，把这个东西叫做无记忆性。那了解到了这个无记忆性的前提下，我们去看一下对于 这块的题型我们应该如何去做呢？把它的统一的做法能不能给它总结出来呢？以至于我们后面再拿到这样的题型之后，能快速的找到这类题目的切入点呢？ ok， 那 我们今天通过这道题目给大家去总结一下。首先呢，这个事情告诉我们，甲乙两口袋中各装有一个黑球和两个白酒， 先从甲乙两个口袋中任取一个球交换放入另一个口袋，重复进行 n 次这样的操作。既 口袋假中黑球个数是 x n， 恰有一个黑球的概率是 p n， 让我们求 p 一 和 p 二的值。那实际上呢？马尔科夫列他常常就跟我们的这种啊排列组合类似的这样的一个问题进行结合。 所以做这类问题的时候，我们核心点不要，要不要去老想着去直接算出来他每一步的概率，一定要去搞清楚这个事件本身他到底是如何进行的，这个往往非常重要。你如果搞清楚这个事件本身是如何进行的，那么你再去理解一些概率过程的时候会非常简单，比如说这道题目， 如果呢？你说老师我拍组合这个基础比较弱啊，理解不是特别好，怎么办？我们可以去画一些 啊，是意图去帮助我们去理解这个提议。比如这个提议中，他说甲乙口袋中刚好装有，各装有什么？一个黑球和两个白球，比如说我画两个类似于这样的口袋，装了一个黑球和两个白球。比如说假设这是一个黑球，白球画我们看不出来，我们拿这个 绿色来表示吧，假设这是白球，一个黑球和两个白球，甲乙口袋中各装有一个黑球啊，白球， ok， 那 现在这个事情是干什么？就是说从甲乙两个口袋中各任取一个球，交换放入另一个口袋中，重复进行 n 次，什么意思？那就是说我现在要从甲中拿一个球放到椅上 一个一口袋，并且呢，从一口袋拿一个球放到假口袋，这个就是一次实验，那就是拿完放完一次实验的时候呢，我们发现假口袋中他必然会有三个球，一口袋必然也会有三个球， 这是这个事件的过程，相信大家一定要把这个事件给咱搞清楚，如果搞不清楚，建议你去画这个视意图。我们说了重复进行了 n 次这样的操作，即口袋假装黑球的个数 x n， 假中的个数 x n， 那 这个 x n 呢？我们发现他最多是零一二，对吧？然后他说恰有一个黑球的概率是 p n， 有 一个黑球的概率是 p n， ok， 然后呢，第一位让他算 p 一 p 二的值，第二位让他算 p n 的 值，第三位让我们算 x n 的 数学期望 e x n 做类这类题的关键地方就在于设事件，我们先得把这个事件搞清楚，并且把这个事件给他设出来，那也就是说我们在这样去可以去设，他告诉你了 重复进行 n 次这样的操作之后呢？甲中黑球恰一个黑球是 p n， 那 就是说甲有一个黑球的 这个概率是 p n， 那 现在呢？除了 n 次，还有甲中还有哪些情况，我们都可以给它设出来，那就说甲中如果有两个黑球了，我们设成 q n， 那 么甲中有零个黑球的概率，那就是直接拿一减他们两个，一减 p n 减去 q n， 这是我们的射事件，先把事件一定给他射出来，你得知道这个事件到底有哪些情况？第二步，我们要去干嘛？去解他。比如说让我们算的是 p 一， p 一 的话，那就是说我们进行了 一次这样的操作，假口袋中恰好有一个黑球，那也就是说我们的黑球进行了一个交换。或者说两种情况，有可能是我们把假中黑球放到了一种黑球进行了交换，也有可能是我们的白球进行了交换，那所以我们的 p 一 就很简单了， p 一 就等于假黑。假中的黑球和乙中的黑球进行交换，那就是 c 三一分之 一乘以一个 c 三一分之 c 一 黑球，然后再加上一个甲乙中的白球进行交换，那白球就是 c 三一分之白球，假中白球是 c 二，这样加我们发现会九分之一加上一个九分之四等于九分之五。 这两种情况都可以使得甲中恰好有一个黑球，这是 p 一， 它的 p 二等于什么呢？我们算一下它的 p 二，它的 p 二的意思就是说你发现我们 进行了两次这样的操作之后，甲带中恰有一个黑球的概率，那也就是说进行第二次的时候里甲中有一个黑球，那我们采用怎样的方法？是不是有几种情况？三种情况。那 p 一 的情况有几种？是不是有可能是只有 一个黑球，恰有一个黑球的时候，我第二次也有一个黑球。 p 一 的情况也有可能是有两个黑球，我第二次有一个黑球，并且呢， p 一 有可能是 第一次呢？有零个黑球，我第二次有一个黑球，是不是就是三个情况相加，那也就是说我们把三个情况给他相加就可以了。也就说我们的 p 二就等于如果第一次进行完一轮后，假中恰好是一个黑球， 以中也恰好一个黑球，那现在就相当于是我把这个过程再重复一遍，是不就可以了？乘以一个 p e 就 可以了，那也就是说我们会得到的是 跟上面一样，那就是九分之五乘以一个 p e， p e 就 相当于是其中现在假袋中只有一个黑球，那我再进行一次也是只有一个黑球，所以呢，就乘以一个 p e 再加上一。如果说第一次中假袋中两个黑球，那就是 q e， 那个假袋中如果两个黑球，那我再进行一次中假，让假袋中只有一个黑球，那就相当于是把假袋中的黑球 放到了乙袋，把乙袋中的白球放到了假袋，那就相当于我们直接去算这个就可以了。现在假袋中是不是有经过一轮进行完之后，假袋中两个黑球，我现在需要把假袋中的一个黑球给它拿出来，那就是 c 三， 一分之假袋，两个黑球拿一个黑球， c 二一乘以一个 c 三，一分之一袋中是不是现在只有三颗白球，随便拿一个白球 c 三一就可以了， 那再乘以你的 q 一， 那 q 一 是什么？ q 一 就是说第经过一轮后，假袋中有两个黑球的概率，两个黑球概率，那也就是说这个 q 一， 我们来算一下 q 一 等于多少？ q 一， 我们需要从假袋中拿出来 c 三，一分之一个白球， c 九分之二，再加上如果第一轮结束之后，假中有零个黑球的话呢？那我们再给他怎么去抽就才能变成假袋？经过两轮之后呢？他有两个黑球，那是不是只有说我们把假袋中的一个黑球给他拿过来就行，那就是 c 三，一分之 c 二一把乙袋中的一个黑球拿过来，然后把假袋中他此时就有三个白球，对吧？那就是 c 三乘以一减去 p 一， 减去 q 一 就可以了。所以呢，这个算一下，我们会得到九分之五乘以 p 一， 九分之五再加九分之二乘以 九分之二再加。这个不对，这个应该是九分之六乘以九分之二再加，这也是九分之六乘以九分之二。你发现零个和两个黑球，他此时的概率是一样的，加完之后呢，会得到九分之二十五，再加一个九分之二十四等于 九九八十一，八十一分之二十五加上八十一分之二十四，那等于八十一分之四十九。所以呢，我们知道了， p 二就等于八十一分之四十九。 ok， 通过这个第一问题，大家已经了解到了，我们 p 二的状态只跟它上一次 p 一 的状态有关，那就是说 p 一 现在有几种结果？是不是三个事件分别进行怎样的操作，才会得到了这个下一个事件？ p n， 也就是说夹到中只有一个黑球呢？实际上它是三个事件相加就可以了。那这样我们求 p n 是 不是也是同样一个道理啊？ 你要去算 p n 的 时候，只跟它的上一次有关， p n 减一次有关，那所以我们可以直接趁热打铁，我们直接列出来你的 p n， p n 只跟它的上一次 n 减一次有关，那就是 n 减一次怎么变的？ n 减一次是不是肯定有三种情况，要么 n 减一次，假蛋中只有一个黑球，两个黑球或者两个黑球，就这三种情况，那如果是 n 减一次，假蛋中有一个黑球，那我进行怎样的操作就可以了，也就是说 跟他们这个一样，对不对？全是黑球经交换， c， c 三一乘以 c 三一，绿球经交换，这个是绿，这个是白球经交换，这个是白球经交换，再加上黑球经交换，那就是两个里面各一个黑球， c 一 一乘以 c 一 一，这是他的上一个状态， 这个是我们要进行的抽取，抽完这种情况下呢，那就相当于是我再乘以一个什么 p n 减一， p n 减一，其中假蛋中恰于一个黑球，我进行一个黑黑交换和白白白交换，是不是得到了 p？ 答案还没有结束，还有什么？如果 q n 减一，就是我们 n 减一次中的，它假道中两个黑球呢？我怎么样进行一个 取法，我们才能得到第 n 次假道中恰有一个黑球，是不是就是这个过程？那就是我们写一下，那就是 c 三，一分之 c 二一，从乙道中拿个白球放到假道中， 再乘以一个 n 减一轮之后，假如有两个黑球的概率是可以了。当然还有第三种情况，那就是说我们再加上谁 n 减一轮后，假道中有零个黑球的概率，那就是一减 p n 减 q， n 减一 乘以谁呢？那就是说假道中有零个黑球，假道中是全都是白球，那就是 c 三一分之 c 三一乘以一道中两个黑球拿一个过来就行了，那就是 c。 这样的话呢，我们就算出来第 n 次中假道中敲一个黑球的概率就是平。 所以呢，我们把上面的式子进行一个化简，就可以算出来它的 p n 了。那我们一块去化简一下，所以它的 p n 就 等于一个九分之五倍的 p n 减一， 再加上一个九分之六倍的 q n 减一，再加上九分之六，减去九分之六倍的 p n 减一，再减去一个九分之六倍的 q n 减一。 把该约的约，该合并的一合并，发现九分之六九分之六约了，变成了 p n 等于一个九分之五， p n 减一，减九分六，偏减一，等于负的九分之一倍的 p n 减一，再加上一个九分之六，那就是三分之二。 所以此时呢，我们借用构造法求解数列通项是不是就可以了？你就说拉姆呢，等于一个 p 减一分之 q， 负九分之一，减一分之 q 三分之二，等于一个负的十分之六，那就是负五分之三。所以此时我们会得到 p n 减五分之三，就等于负九分之一倍的 p n 减一减去五分之三， 所以呢，我们会得到这个 p n 减五分之三为首项是 p 一 减五分之三，那我们知道了， p 九分之五，九分之五减去五分之三，等于一个负的四十五分之二，并且公比为 负九分之一的等比。所以呢，我们会得到 p n 减五分之三，就等于负四十五分之二，乘以一个负九分之一的 n 减一次 e， 所以呢，我们就可以得到我们的 p n 了，对吧？我们的 p n 就 等于负的四十五分之二，乘以一个负九分之一的 n 减一加五分之三， 这样的话呢，我们就算出来我们的 p n 了。这个东西采用数列结构法，我们就要去构造的构造法，去求等比数列，如果不会，可以参考到之前视频在数列中呢，去找到构造法求通向。 ok， 这是它的第二问，那么第三问让我们求解的是 x n 的 数值期望 ex n。 第三问现在来讲比较简单，为什么？因为我们发现了我们下一次的操作只跟上一次有关，下一次它的这个事件有零个或者两个黑球的概率是不相同，所以呢，我们知道了 x n 的 可取值为 零一二，并且呢， p x n 等于零，是不是等于一个 p x n 等于二呀？它两个情况相同，但是我们知道了，因为我们 p x n 等于一的时候，我们的概率是已经知道了。假设就我们刚才那个 p n， 那 所以它两个概率是不是二分之一减 p n， 所以 这两个概率是等于二分之一减 p n， 所以 我们就可以列出来你的分布列了，那分布列列出来就可以， 它的分布列呢长这样，它的 x n 可取值是零一二，它的 p， 这是 p n， 这是二分之一减 p n， 这个也是二分之一减 p n。 因为每一种情况下，它零个黑球和两个黑球概率都相同，不管你进行了几次，它的概率都是相同的，所以我们就可以往进一带， ex n 等于一个零加 p n 加上一个一减 p n 等于一个一，所以 呢他的期望就算出来了，也就是说 e x n 等于一。 ok， 这个就是我们这个题目使用的马尔科夫列，所以呢，我们发现了，只要是马尔科夫列问题，我们只需要去研究这个事情的状态，并且下一个状态由上一个状态怎么进行， 怎样进行操作，或怎样进行怎样的操作，求出他的概率相乘，我们才可以去得到下一个状态呢，就是这样的一个过程，希望大家下去呢能够认真总结，并且呢进行应用。 ok， 那 么今天这个视频讲这有问题同学呢，下来继续跟老师沟通。