马尔可夫链状态转移图怎么画

欢迎观看数字到第十八集今天的内容，数据科学分析领域中的核心知识点，马尔克夫练希望我能通过通俗易懂的语言和案例，帮助大家更好的理解该知识点。 什么是马尔克夫列？先看一个简单的例子，小明家楼下有两家早餐铺，其中 a 主营小笼包、生煎， b 主营煎饼果子，而他每日的早餐选择遵循着下面的规律， 当小明某日早餐选择 a， 下一日他有百分之四十的可能性继续选择 a， 百分之六十的可能性转而选择 b。 而当小明某日选择的是 b， 下一日他有百分之五十的可能性继续选择 b， 百分之五十的可能性转而选择 a。 所以 小明的早餐只会从 ab 中进行选择，并且当日的选择只受前一日的结果以及对应的转移概率影响，与在之前的选择无关。而这样简单的一句话中便包含了马尔克夫恋的核心三要素， 一、状态空间 styes boss 在该例子中，早餐状态只可能来自于状态空间 ab 之中。二、无记忆性 maririss 当期选择的概率只受上期状态影响，我们可以用下面的数学公式进行表达。 三、转移矩阵选择寻美 x 我们可以把上面的转移概率数据放入二乘二的矩阵中，便于我们后续更好的进行分析和计算。 接下来我们看马尔可夫练的状态概率分布、推演及稳态分布。假如小明第一天早餐选择 a， 那么当天的状态概率分布为一零，将其与转移矩阵相乘，得到第二天的状态概率分布为零点四、零点六， 重复同样的操作，得到第三天的概率分布。零点四六零点五四，继续推演下去，很快我们就能够达到稳态分布。 stylest you you 选零点四五四五四五零点五四五四五五 如果初始状态概率分布不同，稳态分布是否会改变呢？假如小明第一天的选择为 b， 遵循上面同样的计算，我们也能够很快的达到相同的稳态 分布。零点四五四五四五零点五四五四五五大家也可以自己尝试将初始状态分布 c a、 ccb 设置为非负且相加和为一的任意值，看看稳态分布是否为一， 这说明在该马尔克夫殿下最终的稳态是不受初始状态影响的。 不过需要指出的是，并不是所有的马尔克夫练都具有唯一的稳态分布，比如下面的马尔克夫练， a， 根据相应的转移概率分别与 bc 单向连接，一旦进入到 b 或 c 中，均在对应状态下自循环，无法达到其他状态。该马尔克夫练的稳态分布数大于一，例如当进入到 b 或 c 时， 零一零零零一都可以作为其稳态分布存在。关于马可福练稳态唯一性的更多内容，我会在下期节目马可福练的便利性而够第四题中进行详细的介绍。 最后我们来看一下马克福列的应用。在自然羽翼处理方面，我们可以利用字符词语之间的转移矩阵去联想用户接下来想要说什么，想搜什么，也可以利用马克福列随机生成诗词文章等。 这里强烈推荐信息论支付卡罗迪香等在其一九四八年发表的著作，通信的数学理论 ammax max， clv f m 的可以选择在金融行业，马尔克夫店也可以用于分析 牛市、雄市状态转换、股票价格预测，信用评级等等。以上是他在机器学习自然语言处理金融行业的典型应用方向， 未来有机会我会为大家分享来自于不同行业更多的分析案例。那么我们今天的节目就到这里，期待大家的一建三联，让我们下期继续马尔克夫练的探讨。

马尔可夫恋是机器学习核心概念，但很多伙伴都说很难懂，如果你也有这样的问题，这份动画讲解马尔可夫恋的课你一定不要错过，只要你用心看完，就能轻松拿捏马尔可夫恋。该课程目前已经火遍油管， 作者对马尔可夫恋进行了通俗易懂的解读，从模型到核心概念到代码实现，而且配上了动画效果，简单直观。为方便大家观看，我都已经下载了好了，还配了中文字幕，可以免费分享给你。 课程短小精悍，只有七节，不到两小时，具体包括马尔可复练、基本概念讲解、核心概念、动画演示、原理解析、经典应用和代码实现、案例展示、动画演示、前项算法、平稳分布计算等等内容。

马尔克夫恋是除了贝耶斯公式之外最简单的贝耶斯网络。这里举一个例子，假设某地的天气只有晴阴、雨三种状态，每天的天气状态只与昨天的天气有关。另外，每天的天气状态都以相同的概率影响第二天的天气。 这里我们用虚表示 d i 天的天气每相邻两天形成了依赖关系。总结起来说，马尔可夫列由三个要素组成，第一，有限的状态空间 s。 比如当前的状态空间由秦英语三个值组成。第二，条件概率矩阵 p， 该矩阵指明了任意两个状态之间状态转移的条件概率。第三，初始概率分布派零。他指明了秦英语三个状态的初始概率。显然，这三个概率之和 应该等于一。马尔克夫恋要解决两个基本问题，第一，根据当天的状态预测之后第一天乃至于地暗天的状态，根据初始概率分布派联合条件概率转移矩阵批。 结合贝耶斯网络的联合概率公式，我们可以得知第一天的概率分布，派一等于派零成一批， 派二等于派一乘一批，以此类推，派安等于派安减一乘一批。根据这个地推公式，我们有一个解析解，派安等于派零乘以批的 n 次方。另外，由于批的每一行概率之和都等于一， 所以可以证明存在一个整数，使得对于任何大于等于该整数的整数 n、 p 的 n， 四方都等于一个常数矩阵，其该常数矩阵的每一列的概率值都完全相等。比如 图，就拿当前图中所显示的矩阵劈来说，只要安足够大，则劈得任四方的第一列都是零点五，第二列和第三列都是零点二五。这会造成一个结果， 那就是无论初始概率分布派零等于多少，帝安天以及之后的每一天的概率分布都等于常数项量，零点五、零点二五、零点二五。这说明很多随机过程最终状态的概率分布将取经于稳定，并且与初始状态无关。 马尔克夫恋要解决的第二个基本问题是如何根据状态序列推测出条件概率转移矩阵批。假设我们在上个例子中观测了足够多的连续的天气状况，据此，我们怎样推断出条件概率转移矩阵批的每一个值呢？只要学习了大数定理，方法非常简单。 第一步，先统计如图所示的平度表。该表表示在第一天处于某个特定状况的条件下，第二天出现另一个特定状况的数量有多少。比如第一行第一列的三表示第一天天晴， 第二天也天晴的情况一共出现了三次，其余的值的含义依次类推。第二步就是把上述频度表转化为条件概率表。方法就是把表中的每一个值除以该行所有值之和。 根据大数定理，只要状态序列足够长，根据平度表计算得到的条件概率表就有很高的知性度。也就是说，这样的条件概率表比较靠谱。 具体的证明过程跟上个视频中所提到的大数定理的证明类似，这里省略。最后，我们总结一下马尔克夫恋的本质， 这很重要。作为一种特殊的贝耶斯网络，马尔克夫恋的每个节点的状态集合都相同。比如前面那个例子中， 每个节点都只能取清英语三个值中的一个值，而一般的贝耶斯网络中并不要求所有节点的状态集合相同。 第二，每个节点都只依赖于前一个节点，第一个节点除外。而一般的笨夜思网络中既可以有分联，也可以有会连，唯一的限制是不能有还。第三，每相邻两个节点之间的条件概率转移矩阵是完全相同的，而一般的笨夜思网络中显然不存在这种限制。 第四，马尔克夫恋是除贝斯公式之外第二种简单的贝耶斯网络。所以一方面，马尔克夫恋也要从所有节点的联合概率角度考虑一切问题。另 一方面，由于任意相邻节点之间的条件概率转移矩阵都相同，所以在计算联合概率时又提供了一些便利。总之，不学好马尔可夫恋，你是不可能理解你马尔可夫恋以及其他更复杂的黑夜思网络的。

大家好，我在 excel 操作交流三十八这个视频中谈了马尔克夫联的应用，在评论区大家积极交流，共同探讨，也提了一些问题， 现在呢，我再从头再详细再给大家看一下，这一次呢，是以文字的形式呈现出来的，请大家呢 仔细的看一下，琢磨一下。后面呢，服务里有这个 交流问答部分啊，大家可以慢慢的看啊， 看到的看不清可以暂停，当然也可以回放。 这第一步，第一步是在这个是在这个标准进行的啊， 我这个呢是折叠过来的啊， 这个从二十三开始的，你上去，因为这个应该是一，这一五十九了，你写不上去了， 对照 pro 你看一下。 好，再来看一下这个标， 咱们看一下这个标它的公式， 我说的这个一和二就是指这个一和这个二，他们是相加的关系， 同时呢，同时是指你这个条件 和这个条件是同时满足啊，同时满足，相信啊，这同时满足，还有这和这 这像，再看一下，高 哇，这看一下， 咱们到这到这吧。 the dish 军队成功军队成员，这是硕族共识， 大括号，大括号不是不是手动输上的？ 好，进入解答提问。好，我也不念了，大家比照看一下， 不知道有没有看明白，欢迎上去进行讨论交流。

大家好，这一次的内容是这个马尔克夫预测啊，当他是一个预测模型，其实呢他的这个呢计算原理并不复查啊。 我们首先看一下这个帮助手册里边的一个啊说明啊，那在这个地方找到这个马尔克夫的话，很简单啊，说这个马尔克夫啊，或者是说他的这个英文单词啊，也可以啊。 哎，预测这个未来状态和当天状态的这种关系导致的一个明天应该怎么样子啊？那么那个简单的一个例子啊，一个简单的一个例子， 比如说啊，我们当前的这个啊，中国的这个通讯市场啊，那么有三个，三个大的这个 啊，公司的一个叫做啊，联通啊，移动还有电信，对吧？就这三家公司，那么他们呢，事实上各自有这个啊市场份额，比如说啊，我们简简单的一个假定，他的市场份额分别是 百分之五十五啊，百分之二十五和百分之二十啊，移动是老大啊，这其次是这个电信啊，最弱的可能是联通啊，那么嗯， 企业和企业之间呢，他都有这种竞争关系啊，竞争关系呢，就像我们当前有一个叫做啊携号转网，那就因为就说你本来用这个啊，移动的这个手机号，对吧？你可以不用换你的号码，然后呢变到这个联通里面 啊，这个通讯公司去，也可以编到这个啊，电信通讯公司啊，当然了，你可以保持原样啊， 还是使用我们的这个移动的啊啊，如果说哪家公司的这个服务质量差一点，你不满意，那你就可以自动的这种转网，对吧？啊，类似于说，比如说我们的这个啊，白酒市场啊，他也是一样的啊，那 假设说啊，大家都在竞争，你可能现在呢是喝这个五粮液啊，那明天呢，你可能是喝茅台，他是不是有这种转换， 那么啊我们的马尔科夫预测呢，就是基于当前的一个啊市场份额啊，就当前的一种状态，那么状态呢，就指的是说你现在属 处的那个环境，你比如说你当前在用移动的号，那么就属于啊你当前的一个状态情况，那么啊初始概率值呢，就是当前的一个市场份额情况，那么啊如果说这 个啊，基于当前的这个市场份额，就是当前的这个初始职的情况，然后呢你明年或者是后年啊，那有可能呢你的这个状态会转移啊？什么叫转移呢？你就刚刚说的，你本来用移动的啊，后面呢？你 边去用了这个电信，对吧？也可能是本来用移动的啊，那后面跑去用了我们的这个联通，对吧？他是有一个概率的，那么由这个概率组成的一个举证呢，就叫做我们的这个状态转移举证啊，状态转移举证啊，类似于我们图里边的这里啊， 一个叫做初始举证，初始举证呢就是当前的这个市场份额情况，然后呢这个状态转移举证呢，就指的是说啊以后他的这个转移状况，比如说这个当前你是使用我们的这个移动的， 对吧？啊？有百分之八十的可能呢，你接着还是使用我们的这个移动，有百分之十五的可能呢，他接下来要用我们的这个电信，还有百分之五的可能呢，他要用这个联通，对吧？ 也或者是说我你当前使用我们的电信手机号，那么还有百分之二十的可能性呢，哎，以后你要用移动，还有百分之七十八的可能呢，你要用这个电信，就是你不转 转网呗。啊？还有百分之二的可能性呢，你要用联通，对吧？啊？那就哪一家服务质量更好，那么他可能被转移的这个概率会更高啊？啊？对吧？ 那是这，这是我们的这个状态转移举证，基于这个转啊，状态转移举证不停的这样的循环下去，不停的这个循环下去，最终最终可能隔了很多年以后，这个是 市场情况应该怎么样子？最重要达到一个什么样的一个效果啊？他才达到我们的这种市场均衡状态。哎，这就是马尔克夫他能做的一个事情啊。啊，那么比如说这种呢？一般通常用于我们的这个啊市场份额的一个评估， 你比如说啊，当前的这个搜索引擎市场，或者是说电子商务，对吧？有这个他吧，有 天猫，还有我们的京东，还有我们的这个拼多多啊，或者是说还有我们的抖音，还有快手，有很多家竞争对手，那么啊，如果说哪一家的这个服务不太好啊，那么你可能就转移去别的家去，或者哪一家 他的这个综合啊让你感觉到更舒服，那么啊你就更可能保留在这一家消费，对吧？啊？这就是我们的这 马尔克夫他要做的一个事情啊，那么我们接下来啊，呃，知道了这个大概的这个原理啊，事实上呢，他只有两个数据，一个就是这个促使概率值，还有一个呢，就是这个转移矩阵，对吧？啊，那你输入了之后呢，让这个系统办理自动办理器算就可以， 那么我们刚刚说过要最终要达到一种均衡，什么样叫做均衡呢？就是说来回的这个啊，变化的这个收敛的， 呃，条件达到什么样子啊？那么在这个地方可以选择一个参数啊，我们来看一下这个啊操作啊，当然了，这个啊系统里面有一个啊值啊，我们可以把这个数据啊自己去 对他进行这个手工的输入啊，或者是已经有了呢，进行粘贴也可以啊，比如说我们这个是零点五五，对吧？啊？零点二五， 还有一个是零点二零，这是三个初始的状态值，那么这个状态一二三呢？你可以换成叫做啊这个文字啊，比如说移动啊，电信，联通，对吧？第二个是我们的这个啊，电信啊啊，下面这个叫做联通， 然后呢这里会有这个啊，状态转移概率，对吧？啊？零点八，零点一五，还有一个是零点零五啊，对着自己输入一下，或者是说在 cu 里边已经有了数据，直接粘贴过来就可以啊， 零点零五，零点二，还有一个是零点七五啊，啊，我们已经输入完成，对吧？啊？这个收敛条件呢，我们是千分之一啊，什么叫 千分之一呢？就是说他不停的叠带啊，不停的叠带，叠带了之后呢，达到了这个这个精度，这个误差值在千分之一的时候呢，就让他停止啊，就让他停止啊，这是收敛条件，但可以选择其他的啊，千分之一是一个正常的啊，就是一个常规的一个字啊，我们开始分析， 分析出来第一个表格呢，就是这个初始概率啊，这个初始概率啊，啊，还有一个是状态转移举证啊，这两个其实都有了啊，只是说他重新展示了一下， 这里有个状态转移图，对吧？状态转移图呢，就是把这个转移的情况，你比如说移动现在的市场 是百分之八十，对吧？嗯，啊，不对啊啊，移动的这个市场份额现在是百分之五十五啊，这个状态转移图呢，是把这个状态转移举证的。这九个数字你有三种状态，对吧？啊？ 三三得九，就九个数字，把它展展现在这个图上啊，比如说移动啊，后续他还是使用这个移动，那么他的这个可能性是零点八，对吧？啊？他的可能性是这个零点八，然后联通还是使用联通是零点七五，电信还是使用电信是零点七八啊？这个 他只是用一个图的形式来制啊，展示出来而已啊，这个图啊啊？然后呢？哎，最核心的就是这个啊，概率分布图啊， 比如说啊，你下一年的时候啊，当前的这个状态是这个啊，第零次就是当前状态，那么啊按照这个转移的情况，下一次呢？就是啊，是这样子，如果说你是一年为一个单位，对吧？就是明年是这样子 啊，那后年是这样的一个概念啊，再往后面，再往后面一直持续，那么啊最后要收敛，要达到一个市场均 均衡。什么叫市场均衡呢？就是说那个收敛条件我们刚刚默认是千分之一，对吧？啊？那么啊，这个，呃，这个大概是第十次的时候啊，其实已经就差不多了，那么最终就达到一种均衡， 本身呢，我们最初的时候啊，移动它的这个啊，市场份额是啊，百分之五十五，对吧？一共是百分之五十五，电信是二十五，联通是百分之二十，那么到第十次的时候啊，基本上就收敛了啊，移动会变成四十五，百分之四十五，电信会变成百分之四十二 啊，联通会变成百分之十二点七，对吧？啊，这里呢，系统会默认是会再多给出一次啊，多出十一，第十一次来验证，说我们的这个确实是千分之一的一个误差啊，这个值减去他肯定是千分之一啊，肯定是千分之一啊，一 机呢，其实第十次减去第九次的这个指啊，也小于千分之一啊，他也是小于千分之一的啊啊，这就是我们的这个啊，马尔克夫预测的一个啊 啊，说明啊啊，系统会多给出一次啊，多给出一次用于验证，确实是这个误差已经达到了千分之一。四十三年看的时候呢啊，看第十次啊，那么或者是看第十一次，其实这两个也差不多啊，因为他的误差很低了，你的目的是用于研究这个预测 啊，最后的一个市场均衡状态，那么你看这两个啊，第十次和第十一次的都是 ok 的啊，最后两次的都 ok 的啊，这就是我们的这个马尔科夫预测啊，那么除此之外呢，在这个系统里边啊啊，我们除了支持这样的 一个格式，这个格式很重要啊，一定是这样的一个格式， da 列呢，是要传出我们的这个出手概率值啊，后面是一个啊，状态转移矩阵，对吧？ 那么有的时候呢，我们的这个数据啊，他没有这个初始概率者，这样啊，也没有这个啊，状态转移矩阵啊，这个，但是呢他有一个更原始的数据。什么叫更原始的数据呢？ 他其实会有一个状态数据啊，状态数据。我们来看一下什么叫做我们的这个啊？状态数据啊， 其实呢就是一连串数字，你不就是像这种啊，就这个啊，就是这个状态数据，你比如就是说一代表说，比如说我们的这个移动，二代表我们的电信，三代表我们的联通，他不就是先用一再用二，然后又 用一再用三这样子来回的切换吗？对吧？这样的一个状态数据，那么啊如果说给定的是这样的状态数据呢， 那么也可以在系统里面呃，下拉选择啊，状态数据他就是一列单独的数据啊啊 啊，在这个选择啊，比如说我们这有个数据啊，单独的一列数据，全部都是这种一二三一二三的转移，呃的这种数据，那么系统也会自动帮你计算出来的啊， 但是绝大部分的情况下呢啊，都是我们的这个啊提供已经有了数字概率值和我们的这个啊对应的这个叫什么东西啊？将我们的这个状态转移取证，进而来来计算我们 最终的一个啊，市场均衡的一个啊，概率情况，或者叫做实际意义叫做市场分布情况，那么这是我们的这个马尔科夫预测啊，谢谢大家。

如图所示的是一个由三个节点构成的马尔可夫链。假设状态空间由红色与黑色组成。条件概率转移矩阵譬如图所示，现在假设节点 a 的状态是红色，节点 c 的状态是黑色， 问节点 b 是红色的概率是多少？由于 a 节点是红色的，根据条件概率矩阵批，可以得知，在 a 是红色的情况下， b 是红色的概率应该等于零点三，这个答案对吗？出乎几乎所有人意料的事，这个答案是错的， 因为他没有考虑 c 节点是黑的这个因素，可能你会说 b 是不受 c 影响的啊。可是，马尔可复恋是一种被夜思网络，后者在考虑问题时必须计算所有节点的联合概率，而跟节点之间有向胡的方向 没有关系。根据贝耶斯联合概率公示当前马尔可复练的联合概率 p、 a、 b、 c 应该等于 p a 乘以 p b 杠， a 乘以 p c 杠 b。 所以，要想求 a 等于红、 c 等于黑的条件下， b 等于红的概率，只需求出 a、 b、 c 分别等于红和黑的联合概率， 以及 a、 b、 c 分别等于红、黑、黑的联合概率。把上述联合概率公式带入，然后查条件概率表批，最后得到 a、 b、 c 分别等于红、红、黑的概率是零点二一， a、 b、 c 分别等于红、黑、黑的概率是零点二八，把红、红、黑的概率除以两个概率之和，最后结果是零点四二九。 显然，这跟我们直接查表得到的零点三的概率结果不同。这个例子充分证明了贝耶斯网络不可思议的能力，同时再次说明了人的直觉是靠不住的。

欢迎观看二零二二年树之道系列的第一期节目，这里祝所有的小伙伴新年快乐，新的一年里身体健康，事业、学业、家业顺利。 在之前五期节目中，我们分别用三期节目介绍了马尔克夫练的基础知识，两期节目介绍了蒙特卡洛模拟的两种抽样方法。 今天我会把这两个主题结合起来，带大家走进马尔克夫列蒙特卡罗方法 mark of chain monte carlo method 以下简称为 mc mc， 错过前面节目的朋友们完全不用担心，我会在本期节目中将重点概念再为大家重温一遍， 相信节目之后你一定能够更好的理解 mcmc 这以数据分析数据科学领域中的核心知识点。 由于本期内容涵盖知识点非常多，所以我会分四个章节进行介绍。一、从上两期节目中所介绍的逆转换接受拒绝抽样方法的局限性出发，引出为什么我们需要设计新的抽样方法。 二、为什么马尔克夫练元素的加入能够有效提升抽样效率？这背后的理论依据又是什么？三、 mcmc 方法之 metropolis hastings 算法的设计思路详解。 四、使用 r 语言对 metropolis 算法进行模拟演示。那么现在就让我们正式进入本期节目的核心内容。第一章，逆转换接受拒绝抽样的局限性在 前两期节目中，我们分别介绍了使用逆转换方法和接受拒绝方法进行抽样。在使用逆转换方法的过程中， 需要先对目标概率密度函数 pdf 求积分，得到累积分布函数 cdf， 再对 cdf 进行反函数求解，得到从均匀分布到目标分布的转化函数，这样就能实现从简单均匀分布出发，得到满足复杂目标分布的随机值了。 但之前求积分和求返函数的步骤却能给大家造成足够的麻烦，因此我们有了第二种抽样方法，接受拒绝方法。 接受拒绝方法中，我们需要设计一个简单的建议分布函数 gx， 再通过放大系数 m 让 m 乘 gx 落于目标函数 fx 上方，通过在 x 轴上根据 gx 生成随机值坐标 a， 然后在 y 轴上根据零到 m 乘 ga 的均匀分布生成随机坐标 b。 通过判断坐标 ab 是否能够落入接受区域来判定 a 能否最终被成功抽取。 不过该方法也有他的局限性，由于 m 乘 gx 需要处处大于我们的目标函数， 因此当目标函数是如图中形态的话，接受区域占比会非常小，真正实操阶段会耗费大量的时间和资源才能抽取足够的样本。了解了以上抽样方法的 线之后，我们再看 mcmc。 第二张 mcmc 为什么能够有效提升抽样效率呢？之前接受拒绝抽样效率低的原因之一是由于其没有充分利用前期的信息。 比如，当根据建议分布 gx 抽样出的 xn 恰好出现在其目标分布中的高密度区域时，如果下次抽样 xn 加一能够在这附近抽取，其接受的成功率自然也会相应较高。 但在接受拒绝方法中的每次抽样都是独立的，且建议分布函数不变， xn 的信息在下次抽样动作前会完全抹去，所以有相当的概率下次抽样会返回高拒绝区域的值。因此， 从直觉出发，我们需要让这个建议分布动起来，保留前期有用信息，并影响下次抽样。这样抽样效率是不是就更优了呢？为此，我们将马克夫恋的思想加入其中，最终流程会是这个样子的。 假设，我们根据初始的建议，正态分布 g x 零 c 个码进行抽样， x 零为初始设置的均值， c 个码为标准差得到 x 撇。假如 x 撇符合我们预设的规则， 我们则把 x 撇赋予 x e 作为鸡的均值参数用于下一次抽样。相反，假如 x 撇不满足规则，那么我们就会将原 零的值负于 x 一作为鸡的均值参数用于下一次抽样。这个链条会一直持续下去并收敛，达到稳态。 在马尔克夫练的节目中，我们介绍了稳态分布转移矩阵的概念。假如马尔克夫练的转移矩阵满足便利性，那么它存在唯一的稳态分布。现在你可以这样理解上面的 mcmc 链条， 我们就是需要设计这样一个判断规则，他能够起到转移矩阵的作用，让该链条能够收敛至稳态分布。而这个稳态分布就是我们目标函数概率密度分布了。 达到稳态后抽取的随机值就等同于从目标分布中进行抽样了。 到这里或许你还会有些迷茫，没关系，可以重温我们数字到十八到二十二级，然后再来体会我上面说的内容，一定会豁然开朗。 接下来让我们深入 mcmc 的具体算法之 match prolex hastings 算法。我会将上面的理论思路具象化，通过 mh 算法帮助大家更好的理解其精华。 第三张， metropolis hastings 算法 mh 算法的设计用到了马克夫链中一个叫做细致平稳 detailed balance 的概念。 我们假设有这样一个满足便利性的马尔克夫链，各状态已达到唯一的稳态分布 s， 如果其转移矩阵 t 满足下面的公式 s i i 乘以 t， i to j 等于 s， j 乘以 t， j to i， 我们撑起满足细致平稳条件。我会借用十九集中的例子介绍这里需要特别注意的两个点，第一点，并不是所有的稳态分布都满足细致平稳条件，比如该例中的稳态分布不满足细致平稳。 第二点，满足细致平稳条件的状态分布达到稳态分布。稳态分布有如下特点，项链 s 乘以矩阵 t 等于项链 s， 他的矩阵表达形式如下， 为了论证细致平稳条件也是稳态，我们就需要验证上述等式在细致平稳下也成立。 我们对细致平稳条件等式两边根据哀求和，然后等式右边做如下调整得到，因为从 j 状态转移去至所有状态的概率和为一。 因此最终下面的等式成立，符合稳态条件，证明完毕。我们可以用下面通俗的语言来进一步解释细致平稳公式。 从等式的两边来看，他等同于在说从处于状态 i 下期转移到状态 j 的概率与从处于状态 j 下期转移到状态 i 的概率相同， 他将对后面 mh 算法的构建起到决定性的作用。还记得第二章中的这句话吗？ 需要设计这样一个判断规则，他能够起到转移矩阵的作用，让该链条能够收敛至稳态分布，而这个稳态分布就是我们的目标函数分布。那么我们就是需要设计这个规则，能够使上述等式成立。 其实，等式的每一边都包括了两个步骤，步骤一，从旧状态下选出新状态作为候选对象。步骤二，判断是否需要转移至新状态。 我们用具体的数学语言来对这两个步骤进行推倒。步骤一，当已达到稳态，处于状态 i 的概率为 s i， 然后根据建议正态分布 g i c 个码，生成新的随机 值 j。 我们用 g j 基于 i 代表着均值参数为 i 时， j 被抽取出的概率 s i 乘以 g j， g i 则代表了从处于状态 a 下，根据 g i c m 选出了下期后选状态 j 的概率。 步骤二，我们定义 a j 基于 a， 它代表了接受 j 作为 a 转移后状态的概率。 两步相乘得到 s i 乘以 g j， g i， 再乘以 a j g i， 这就完美表达了从处于状态 a 转移到状态 j 的概率。同样的， sj 乘以 gig 与 j 乘以 aig 与 j 则代表了从处于状态 j 转移到状态 i 的概率。 两个公式在细致平稳条件下相等则有，其中 g j 基于 i 乘以 a， j 基于 i 和 g i 基于 j 乘以 a i 基于 j 对应了我们转移矩阵中的 t i to j 和 t j to i。 我们将上面的等式变换一下，得到 metropolis hasting 算法提出了一个满足上市等式的结法如下， 值得注意的是，由于基服从正态分布，它是对称的，那么基埃基于 j 与 g j g i 相等，两者相处抵消上述公式进一步得到精简。现在最后的问题是怎么求 s？ 由于我们知道函数 sx 就等同于我们的目标概率密度分布函数 pdfx， 而 pdfx 又等于我们的目标函数 fx 除以标准化常数 c， c 为 f， x 与 x 轴为成的积分值。很多时候 c 很难求解， 那么我们把 s j 等于 f j 除 c 和 s i 等于 f， i 除 c 带入上述等式，得到最终公式 a j 基于 i 等于一和 f j 除以 f i 中的最小值。这便是最初的 major produce 算法。而后期加入的 g i， g 与 j 除以 g， j 基于 i 作为 hastings 参数，则进一步扩大了该算法在非对称建议分布下使用的适用性。 到这里，之前提到的规则就已经设计出来了，我们有了建议分布 g， 同时有转移接受规则 a， 那么就可以顺着这个规则链条达到稳态分布，完美实现从目标分布中抽取随机值了。 让我们进入最中章第四章 metropolis 算法 r 语言实力在这个例子中，我们有一个，有两个正态分布，根据相应权重构成的新分布，设计一个 标准差位零点五变量 x 作为均值的正太分布。抽样公式 q， 为后续从该分布中抽取随机数做准备，需要提点标准差，可以尝试不同值来比较最终的抽样效果。 设置一个包含了一万个值的数据集合 x 覆盖初始变量 x 一为一 初始值，可以尝试不同值来比较最终的抽氧效果。接下来进入循环语句，循环九千九百九十九次， 每次循环哎。将当前的 xi 值作为变量 x 录入建议正太分布抽样公式 q 中得到心值 x j。 将 x i， x j 套入第三张 当中的 metropolis 公式，计算接受概率 a。 为了做出是否接受 xj 的决定，我们可以引入一个服从零到一间均匀分布的随机值，让他与 a 比较。 当 a 大的话，用 x j 值覆盖 x i 加一，否则用当前 x i 值覆盖 x i 加一。 完成循环后，我们可以绘制更新后的数据集合 x 的直方图，可以看到其能够很好的满足目标函数分布。 新年第一期数字到节目就到这里了，希望大家喜欢本期节目。今年除了本系列之外，我还会开一档新的节目，和大家分享一些工作学习方面的心得，让我们在新的一年里共同进步，那么下期节目再见！

马尔克夫算法，也被称为马尔克夫列，是一种基于马尔克夫过程的统计模型，用于描述一系列可能的事件中，一个事件的状态转移只依赖于前一个事件的状态，而与更早之前的事件无关。 这种特性被称为无后效性或马尔克夫性。马尔克夫算法的核心思想是利用概率来描述不同状态之间的转移。在马尔克夫恋中，每一个状态都有一个或多个可能的后续状态，每一个后续状态都对应一个转移概率。这些转移概率构成了一个转移矩阵， 用于描述从当前状态转移到下一个状态的可能性。在实际应用中，马尔克夫算法被广泛用于自然语言处理、语音识别、生物信息学、金融预测等领域。例如， 如，在自然语言处理中，马尔克夫模型可以用于文本生成和磁性标注的人物通过训练模型来学习词与词之间的转移。概率模型可以生成符合语法规则的文本序列， 或者对给定的文本进行磁性标注。马尔克夫算法的优点包括简单易懂、计算效率高和易于实现的。然而，他也存在一些局限性，例如，由于马尔克夫恋只考虑前一个状态的影响， 因此他可能无法捕捉更长距离的依赖关系。此外，马尔可忽略对于状态空间的定义和转移概率的估计。非常 不同的状态划分和概率估计方法可能会导致不同的结果。为了克服这些局限性，研究者们提出了许多改进方法，如以马尔克夫模型一天跟马尔克夫 随机场 mr 和马尔克夫角色过程 ndp 等，这些模型通过引入更多的上下文信息或考虑更复杂的状态转移关系来提高预测性。总的来说，马尔克夫算法是一种强大的统计工具， 能够处理一系列具有马尔克夫性质的事件。通过合理定义状态空间和转移概率，马尔克夫算法可以在多个领域发挥重要作用。然而，需要注意的是， 在实际应用中，需要根据具体问题和数据特点来选择合适的马尔克夫模型及其参数设置，以获得最佳的性能和结果。 虽然马尔克夫算法在多个领域得到了广泛应用，但在某些特定场景下，可能还需要结合其他技术或方法来进行优化。例如，在处理具有复杂依赖关系或非线性特征的数据时， 可以结合深度学习技术来构建更强大的模型。此外，随着大数据和计算能力的提升，如何更有效的利用数据来训练和优化马尔克夫模型也是一个值得研究的问题。 未来，随着技术的不断发展和运用场景的不断扩展，马尔克夫算法将继续发挥重要作用。我们可以期待更多的研究者将马尔克夫算法与其他先进技术相结合，以解决更复杂的问题并推动相关领域的进步。综上所述， 马尔克夫算法是一种基于马尔克夫过程的统计模型，具有简单易懂、计算效率高和易于实现等优点。通过合理应用和改进，马尔克夫算法可以在多个领域发挥重要作用，并为解决复杂问题提供有利的知识。

马尔可夫恋是从一个状态、一种情况或一组织跳到另一个状态的数学系统。一个简单的两态，马尔可夫恋可以用这个图来表示。 在我们的状态空间中，有两种状态， a 和 b。 有四种可能的转换，不是两种，因为状态可以转换回刺身。 如果我们在 a， 我们可以转移到 b 或留在 a。 如果我们在 b， 我们可以转移到 a 或留在 b。 在这两个状态图中，从任何状态转换到任何其他状态的概率为零点五。当然，真正的建模者并不 总是画出马尔可夫链图，相反，他们使用转移矩阵来计算转移概率。状态空间中的每个状态都包含一次作为一行和一列，并且矩阵中的每个单元格都告诉您从其行状态转换到其列状态的概率。 因此，在矩阵中，单元格的作用与图中箭头的作用相同。如果状态空间添加一个状态，我们添加一行和一列，每个现有的列和行添加一个单元格。这意味着当我们像马尔可夫恋添加状态时，单元格的数量乘二次增长。 因此，除非你想绘制丛林马尔可夫恋图，否则转换矩阵很快就会派上用场。马尔可夫恋的一种用途是在计算机模拟中包含真实世界的现象。例如，我们可能想要检查水库大坝的一出频率，这取决于 连续下雨的天数。为了建立这个模型，我们从下雨天和晴天开始。 模拟这种天气的一种方法是只说有一半的日子下雨。因此，在我们的模拟中，每天都有百分之五十的几率下雨。 该规则将在模拟中生成以下序列，你有没有注意到上面的序列看起来和原来的不太一样。第二个序列似乎跳来跳去，而第一个真实数据似乎具有粘性。在实际数据中，如果一天是晴天，那么第二天晴天的可能性也更大。 我们可以使用两状态马尔可夫恋来缩小这种粘性。 当马尔可夫恋处于下雨天状态时，他有零点九的概率留在人地，有零点一的机会离开到晴天状态。同样，晴天状态有零点九的概率保持人状，并且有零点一的机会转换到下雨天状态。 本文简要介绍了一种简单的状态转换模型，该模型构成了迎马尔可夫模型 hmm 的特例。这些模型你和时间序列数据中的非平稳性。从应用的角度来看，这些模型在评估经济市场状态时非常有用。 这里的讨论主要围绕使用这些模型的科学性。为了演示，我们准备一些数据并尝试进行反向推测。通过构造，我强加了一些假设来创建我们的数据。每个状态都具有不同的均值和波动率。如上表所示，状态 s 等于二变成坏状态。其中过程 xt 表现出较高的变化性，因此停留在状态二的可能比停留在状态一的可能性小。为了模拟过程 xt， 我们从模拟马尔克夫过程开始。 为了模拟 t 期间的过程，首先，我们需要构建转换矩阵。其次，我们需要从给定状态 s 一等于一。开始。 我们知道有百分之九十五的概率停留在状态一，有百分之五的概率进入状态二。由于我们使用的是一百个周期的小样本，因此我们观察到稳定概率为百分之六十九 接近，但不完全等于百分之七十五。虽然总体而言时间序列看起来是平稳的，但我们观察到一些周期红色突出显示 显示出较高的波动。有人可能会建议说数据存在结构性中断或者趋势状态发生了变化，过程 xt 变得越来越大，但有更多的复制。虽然如此，事后解释总是比较容易的。 主要的挑战是识别这种情况。在本节中，我将使用 r 软件手动从头开始和非手动进行统计分解。 在前者中，我将演示如何构造自然函数，然后使用约束优化问题来估计参数。我将说明如何在不经历解析推表的情况下进行复制。让我们看一下工作原理。 假设我们知道参数非大的销量，并且我们有兴趣使用 xt 上的数据评估隐藏状态随时间的变化。显然这两种状态的总和， 因为一看起来我们可以处于状态以或状态二。我们观察到状态二的过滤器主要在状态二发生时增加，这可以通过发出红点的概率增加来证明红点表示状态二发生的时间段。 我将在下面演示如何使用 r 软件复制人工估算的结果。上面的输出主要报告我们尝试手动估算的六个估算参数。 首先，系数表报告了每个状态的均值和波幅。模型一的平均值为一点七。一波动率接近一， 模型二的平均值为负。二波动率约为二。显然，该模型针对数据确定了两种具有不同均值和波动率的不同状态。其次，在输出的底部，你和了模型报告转移概率可以 使用图函数来了解概率以及确定的方案。顶部的图表示随时间变化的过程 xt， 其中灰色阴影区域表示是 greater than 零点五的时间段。换句话说，灰色区域表示状态一占优势的时间段。 无论如何，由于我们知道状态的真实之，因此可以确定我们是否处于真实状态。我们在上面的图中使用黑点突出显示状态二。总的来说，我们观察到模型在检测数据状态方面表现非常出色。 唯一的例外是第六十天，其中推断概率大于百分之五十。

高图网版权音乐。

在前两期节目中，我们分别介绍了马尔克夫练的基础知识以及求解其稳态分布的数学和 xil 方法。 如果稳态分布是唯一的话，那么针对该稳态分布所展示出的性质，比如人们喜怒哀乐的情绪分布、产品选择的偏好、金融产品的违约比率等等， 决策者就能够通过制定更有效的策略去影响并改变文台分布，让其更适合自身的利益需求。 那么问题来了，什么样的马尔克夫练具有唯一的稳态分布呢？欢迎观看数字到底二十级，让我们继续走进马尔克夫练。先上结论，如果马尔克夫练的全部状态节点都满足 以下三大条件，长返性、非周期性。任意两状态联通，那么该马可福点便符合便利性的要求，具有唯一的稳态分布。 本期节目中，我会跳出抽象的数学推导，采用直观的图解方法，帮助大家更加透彻的理解这些关键概念。 先看需要评估的对象，马尔克夫练的全部状态节点，这里的关键字全部 意味着全部状态节点都必须满足下面的三大条件，缺一不可。再看三大条件中的第一点，长反性 recont。 在马尔克夫恋中，我们通常把长反性 和他的对立面、暂时性圈子放在一起，理解如下面的状态 b， 根据路径指示可以进入到新状态 a 或 c， 但从 ac 出发没有返回 b 的路径， 那么我们就称该状态 b 是暂时性的而非常反的。而对状态 a 或 c 来说，他们可以进入新状态 c 或 a 并存在路径返回， 我们则认为 a 和 c 满足长返性。现在来看非洲七星 aprady。 为了理解非洲七星，我们看看下面的例子。大家数一数，从 a 出发经 过多少气可以返回原点。没错，这里不论起点是 a， b 或 c， 都有 n 条路径返回原点，而 n 可以为最小值为一的任何整数。 我们把这个马可福链稍作调整，那么每一个状态都需要经过三个周期才能够返回原点，我们再做调整。 下面的例子中， a 经过两个周期可以分别通过 b 或 c 回到原点，而从 b 或 c 出发则可以通过二 n 个周期返回原点。 这里 n 为大于等于一的整数，那么我们就可以这样定义状态节点的 周期性了。马可夫练中的某一状态节点，他可以经过 k 成 n 个周期返回原状态 n 为大于零的整数，如果 k 大于等于二，那么我们就可以称该状态满足周期性。现在再来判断上面三个例子中每个状态节点的周期性就很轻松了。 最后我们来看联通性，这一点比较好理解， 假如状态 a 能够通过相应路径到达状态 b， 相反 b 也能够通过路径到达状态 a， 那么我们就认为 ab 是联通的。在掌握 了对象三大条件的概念后，判断一个马尔克夫恋是否便利就很简单了。 比如下面的例子，马可福链 abc， 很显然他是便利的，现在复制一个同样的马可福链 def 单独来看他也是便利的。 而如果我们把 abcdef 作为一个整体的马尔克夫电来看的话，其所有状态节点都满足长返性和非周期性的要求， 但由于节点 abc 无法联通，节点 def， 因此他不符合联通性的要求，作为一个整体，他不是便利的。 那么到这，关于马可夫练的三期节目就告一段落了，最后感谢大家观看，让我们下期再见！

哈喽，大家好，我是老林，我们今天来一起看一下高考模拟题中的马尔科夫恋问题。呃，我们的马尔科夫恋自从二零二三年新高考一卷出口之后，各大模拟题已经是比较泛滥了， 但是有的同学还是不大会处理这种问题，而且啊，比如说武汉酒调那种更啊更复杂点的马尔克夫恋的问题，我们怎么去处理？今天来一并说一下。首先，什么是马尔克夫恋啊？这个涉及到一个数据统计的概念啊， 那么我们呢？先啊，你可以先看一下我这里写的一个概念，能不能看懂啊啊，刚看这个肯定是看的不太明白了，我们直接以题目来说明一下什么是马尔克夫恋。好，我们直接看一下我们新根号一键那个二十一题啊，这里说是甲乙两人投篮，每次由其中 一人投篮。好，我们的规则就是标准的马尔克夫的一个过程啊，他说若命中，则此人继续投篮，若未命中，则换为对方投篮，事实上就是在甲乙 两个人中互相传，互相传，是不是就是说互相互相转手啊啊，如果这一次脚握着 他投篮，命中了，那还是他投，如果他没命中，就交给对方投，那就是说我们第 n 次到底是谁投篮，要看前一次，要看前的 n 减一次 啊，谁命中了是不是？谁命中了就谁头嘛？是不是没命中就换个别其他人头？所以我们的假如第 n 次这个状态，到底是谁头？是跟前面那个状态是有关系的是不是？那我们再看一 马尔克夫恋这个概念，当前的状态去判断前一个状态或者后一个状态与该状态联系，从而得到地推式，这就是马尔克夫恋的一个东西。我们主要就找了个地推式啊， 就是说我们这里就说过程的每个状态转移只依赖前面的 n 个状态啊。注意，我们刚刚的这一个投篮，就是我们到底是谁投篮只依赖于前面的他前一次啊？他前一次的前一次会对他有影响吗？不会啊， 那么我们这里每一个状态依赖于前一个状态，这个过程就是一阶的马尔克夫形态，如果是前面的两个状态对这个状态有影响，那么就是二阶的吗？是不是？那我们一般来说就是什么？就是一阶的，当然也有可能有二阶的，等下我们继续说啊。好，我们来看一下这个题， 那这种题一般人怎么做呢？他的一般的步骤就是我们以什么以第 n 次为起点，以第 n 次为出发点， 你可以直接设第 n 次的概率为 p n 就是。哎，我们的啊，第 x， 我们就写成第 n 次吧，第 n 次是假头的概率为 p n， 然后以这一个 d n 次为起点，写出， 写出 p n 加一与 p n 的关系啊，我从第 n 次，然后看它的下一次是不是写出这个关系，然后第三个再写出我们的通向。 好，那我们来看一下这里，假如 d n 次是甲的话， d n 次是甲， d n 次投篮的是甲， 那么乙头狼肯定是一减偏吧，一减偏好，那我们看一下，那么 p n 加一呢？ d n 加一字如还是假 是什么关系？第 n 加一次还是假，那我们要分两个情况，是吧？那我们对 n 加一次有影响的就是 n 次嘛，第 n 次，如果第 n 次是假，如果就是偏的话，他要命中，他要命中 才继续是甲，是不是？如果第 n 次是乙的话，就是一减偏，他不命中才会传回甲，是不是？不命中是零点二吗？命中是零点八，这里有。 好，那我们的 pn 加一就这等于这两个之和，是不是？那我们就写出来，就是第二步已经写出来了，那么 pn 加一就等于零点六的 pn 加上零点二的一。减。去 撇啊，稍微化解一下，所以就是等于零点四的撇，加上零点二。好，我们第三个就是我们要写出啊，我们写出这个地推式之后，然后用什么标准的？标准的我们 啊，我们的数列里面， a n 加一等于 p 倍的 a n 加上 q 的这个类型够什么？够到一个等比数列是不是？那我们这里就是代替清楚，我们知道 a n 加 x 是什么？为 公比为 p 的等比数列，然后代定求出 x 就可以了。 等比数列啊，是吧？用是。 好，那我们在这里我们求一求，那这里我们就说 p n 加 x 是公比为零点四的 等比数列。好，那么 p n 加一加 x 就等于零点四的 p n 加 x。 好，我们继续把它画一下，那么 p n 加一就等于零点四， p n 减去一个什么零点六 x。 好，我们这里啊，这这一个和这个对比一下，所以零点六 x 等于什么啊？负零点六 x 等于零点二，所以得到我们 x 等于 不？三分之一，所以我们就得到了。得到什么？得到我们的 p n 减三分之一 是等比出来，那我们可以写出来吧， p n 减三分之一等于什么？等于 p 一减三分之一乘以。好，我们的公比是零点四啊，写成分数吧，五分之二的 n 减一次方， 然后把 p 一零点六代入，我们就可以求出 p n 的解析式，是不是 p n 解析式求出来了，代入第三问就做完了，那么其实关键就是什么？关键就是写出地推式。好，我们第三步就是什么 构造数列走通向 构造数列求同项二。 好，这是我们的基本的马尔克夫恋的一个菱形啊啊。大家知道这个之后，我们接着继续看一个例题，这是二零二三年惠州一毛这个题目。好，我们来看一下。 首先以我们刚刚的为例子啊，大家如果啊不熟悉，继续啊，暂停，迅速看一下题目啊，我们直接做第二题，直接做第二题，我们以 p n 为出发点 啊，他这里也就是举出这个例子。我们就是选餐的问题，我们第一天选择米饭套餐的概率为三分之一 啊，那其实就是 p 一吗？是不是？前一天选择米饭，而后一天继续选择米饭的概率就是四分之一，前一天选择面食，后天继续选择面食，是二分之一，如此往复，这就是什么？这就是我们后一天选什么，跟前一天是有关系的，是 不是？那我们首先第一天选择米饭套餐是 p n， 那我们 p n 加一呢？好，后一天选择米饭要跟前面有关系，那么前一天如果是 p n 的话，也就是前一天如果是米饭套餐，那我们继续选米饭的话就是， 那就是 p n 加一。那我们如果前一天是什么？前一天不是米饭套餐，不是米饭套餐，肯定一减 p n 是吧？前一天不是米饭套餐， 不是米饭套餐，那就是面食套餐。如果前一天是面食套餐，后面选择米饭和选择面食都是二分之一，所以我们乘以二分之一，是不是？所以这个就做完了， p n 加一就等于四分之一的 p n 加上二分之一的一减 p n 啊，是不是很顺， 非常简单是不是？所以我们这里就是负四分之一的 p n 加上二分之一，然后接着继续用一个啊， p n 加一加 x 等于负四分之一乘以 p n 加 x 来了我们啊，当然正题是正明啊，那正明就更简单，是不是啊？我们就可以求出 x 等于负二五分之二， ok， 这就是我们标准的我们一阶的 马尔克夫恋的一个一种题目，是不是很简单？你只要掌握套路，非常简单，是不是？那么我们这一阶的，但事实上有些同学，有些同学可能会遇到什么二阶的二阶，是吧？ 那我们如果其实遇到二节是是是个什么情况？其实就是遇到什么 p n 加一等于什么啊，等于什么 m 倍的 p n 加上 n 倍的偏减一啊，这样的，也就是说其实就是一个什么二阶地推了啊，二阶地推了，那我们出发点方法还是跟这一模一样，没有什么太大的一个 啊，太大一个变化， ok， 这就是我们一阶二阶啊，这种这种这种一个扩展的一个一种题型，大家看能明白能掌握，这种没有啊，这是我们一二两种题， ok， 我们再看一下啊，近期同学问的比较多，我们升级版的 啊，呃，跟刚刚那个二节升降不一样，我们刚刚是两个人玩球是吧？这次是三个人传球，三个人传球或者四个人传球，这种怎么办啊？这种我们首先以他为例子看一下武汉九钓这个题目啊，我们把它总结一下，至少这些题目我们都不会啊， 不会手足错啊。啊。这种传球是三个人传啊，三个人传，当球在假的手里的时候，若点数大于三大于三就是二分之一， 不大于三就是二分之一还是二分之一啊。你大于三我就传给乙，不大于三就保留啊，就甲露给自己了。然后当球在乙的手里时候大于四啊，大于四的概率是三分之一是不是不大于四就是三分之二大于四就传给甲，乙就传给甲， 不大于四呢？也就传个丙是吧。又传到丙头里了啊，如果到丙手里呢？大于三啊，你大于三不大于三还是二分零。我们写着。 那这种题呢，事实上还是一种啊。那我们现在这个情况刚开始这里我们刚开始我们的啊，新账号一卷或者惠州一模这题。 那其实只有两个选择是吧？有两个选择，我们一个是啊 pn， 一个是一减 pn， 那么这里有三个选择，那怎么办？那我们就不能用什么 pn 跟什么哎，一减 pn 来代替了。那我们只能用什么？再设一个吧，再设一个概率是不是我们呃 步骤一啊，我们步骤一啊，写在这吧，设多个概率。 这多个概率啊，当然多个概率都是要以 d n 次为出发点啊。那我们啊，比如甲就是 p n 啊，我们这是甲啊，写在前面吧， 甲就是 p n， 而乙呢？乙啊，我们就 q n 吧，而丙呢？丙 t n， 那么这里就有个关系， 我们其实刚刚刚刚做的是两个的时候，就没有说到关系，这里有个非常重要的关系是什么？ e n 加 q n 加 t n 等于一，是吧？刚刚只是啊，就相当于刚刚是二维的，现在变成三维了，是不是啊？设多个惯例，然后呢？然后 写出多个的一个地推式，写出 p q t 的地推式，按条件写就可以了，这个字儿可能写的大家看不清，是吧？ 啊？地推式，好，我们这里我们就挨个写一下啊，其实我们写地推式就是说啊 p n 加一跟啊 p n q n 加一跟 q 的关系，那我们来看一看。第一个，我们先看，如果我们先递 p n 加一吧，我们要递 n 加一次在甲手里，哎，我们传了个甲手里第一种，第一种呢，这里甲保留第二种，哎，是，这里乙传给甲，第三种，丙传给甲， ok， 我们写一下， 那么一开始求在甲手里传给甲的概率就是二分之一的 pn， 是不是他保留的概率？第二个，如果在乙手里啊，乙手里是 qn 嘛？乙手里是 qn， 乙传给甲的概率是三分之一， 是吧？这里有啊，啊，大于四就是五六吗？三分之一，是不是？然后第三种，如果它丙手里，丙手里是 t n 吗？丙手里是 t n t n， 呃，丙长个角还是 二分之一，是不是？然后我们看 q n 加一啊，我们现在看什么传给乙啊？传给乙，传给乙，哎，这里是传给乙，然后呢？乙自己不会传给乙，那这里又传给乙， ok， 那就是甲会传给乙，还有丙会传给乙，加就是二分之一的 p n， 然后顶也会传给二分之一的 t n， 哎，是不是很快写出来，然后我们看一下 t n 加一 啊，就比刚刚那线要复杂点，是不是？好，我们看传给丙的，谁会传给丙啊？谁会传给丙啊？我们这只发只发现这个只有乙会传给丙，而且是三分之二，所以是三分之二的。什么 三分之二了，已是 cuin 是吧？哎，这个这个，其实再加上我们刚刚这 这个解这个不等式啊，解这个等式就可以了啊，这个什么 t n 加 q n 加 t n 等于一，然后我们解一下就可以了啊，怎么解啊？ 啊，你看 pn 加 tn， 我们慢慢慢慢消啊，慢慢消啊。第二个里面你 pn 加 tn 就等于一减 qn， 所以是二分之一的，是吗？ 第一个二分之一，然后一减啊 q n 啊，事实上我们 q n 可以求出来，是不是？然后这里也是这里啊，三分之一 q n 放这，然后也是二分之一的一减 q n， 二分之一的烟 q， 然后我们接下来啊，二分之一，这里减去六分之一的 q n 啊，这里就是 p n 跟 p n 加一跟 q n 的关系啊， 是不是？那这里啊，到这我们用这两个数字写出来，这一个等于这个和啊，我们把写的旁边吧，啊，写乱了是吧？ p n 加一等于二分之一，减去六分之一 q n， 然后呢？ q n 加一等于二分之一， 括号一减 q n。 我们现在要求 p n 的一个关系啊，现在就有两个策略，你由下面一个先求出 q n， 是不是？然后再求 p n 是吧，这个你这个地推关系立马可以得到 q n 的一个关系式啊，或者呢，或者我们直接求 p n 吧，直接求 p n， 那这里我们带回去啊，所以我们把由第一个式子得到 q n 就等于 什么？呃，乘个六吧，乘个六，乘个六，那么就是三减去六倍的 p n 加一， 是不是三点 p， 然后啊，把这个带入下面就可以了。带入下面，所以这边就是啊，我们的 q n 加一呢，就等于三减去六倍的 p n 加二啊，所以啊，我们把这两个带入这个式子就可以了。 所以三减去六倍的 p n 加二，等于二分之一的一减去三，加上六倍的 p n 加一啊，这算一算，稍微复杂点啊，这 也就是六减十二倍的 p n 加二，等于负二加上六倍的 p n 加一啊，那么这样的一个题目，我们是让啊，就马上能做出来吧。 呃，一到一到一起啊，所以是四减去十二倍的 p n， 这不是四，是八啊。计算加上二等于六倍的 p n 加一， 所以我们把它留下吧，那就是 p n 加二，就等于 p n 加二，就等于负二分之一倍的 p n 加一， 加上这里十二分之八，五个四， 三分之二，是不是？呃，然后这个大家可以自己独立完成了，是吧？啊，当然，这里你想怎么解法，想怎么样解这个，解这个等式啊，都可以，但是我们肯定能够解出来是不是？那这个我就不继续往下解了， ok 啊，剩下的就是标准的一个构造数列的一个问题啊，大家可以自行尝试。好，我们接下来看下最后一个就是我们前期日的天域联盟的这个题目啊， 事实上还是同类的问题，但是，哎，我们感觉好像有四个一样啊，这是一个青蛙在这个池塘的边缘跳跃的一个问题，那这个我就标准的完全做一做，跟这个武汉酒的问题几乎是一样的啊。我们来看 看一看，这里也是第一步，设出每一个的数列，哎，那我们看一下，第 n 次在 a 的概率就是 p n， b 呢？哎，你看从 a 跳到 b 或者跳到 d 啊，是一样的吧，这个是，这个是对称的，那你他是 q n 的话，那他还是 q n 这个大小应该是 啊，没有什么疑问的吧。然后这个呢，肯定是 t n 是吧？啊，首先，那么第一步，第一步我们得到，那第一步设出概率，第一步可以得到什么？ p n 加上两倍的体温，加上 t n 等于一，是不是啊？你在 a， b， c， d 之和肯定是一。 然后第二步，写出什么？写出 p n 加一， q n 加一和 t n 加一。我们看一下，我们如果 p n 加一，就是说 d n 加一，四是 a 点的， d n 加一是 a 点，那就是 b 和 d 跳到 a 或者 c 跳到 a， b 和 d 跳到 a， 就是四分之一嘛，是吧，那就是四分之一的 q n 加上四分之一的 q n 加上二分之一。题啊，还好写吧。然后第二个，我们的 q n 加一， q n 加一， 那就是我们的 b 和 d。 这里假如啊，我们的 b， 这，哎，那么 a 和 c 都是四分之一，是吧？四分之一的撇加上四分之一的撇，再加上什么？再加上二分之一的 q n 啊，没有问题吧，不相邻是二分之一啊。大家啊，如果没有看清题目，迅速暂停，再看一看啊，非常推荐，把这种题自己做一做，然后再听一遍，会理解会更深入啊。题 n 加一了，我们就是说跳到十一点的，跳到十一点是吧？ b 和 d 都是四分之一，四分之一的 q n 加上四分之一的 q n， 然后 a 呢，就是二分之一二分之一的撇，然后同样的解着啊，解着四个等式啊， 解这四个等式解出来就是感觉，感觉看着难受，是吧？那首先首先我们看看解哪一个解哪个，我们就先把整理一下吧，先整理一下，这个就是什么？ 这就是我们的二分之一的 t o n 加上二分之一的 t n。 这个呢？ 啊，这个也整理不了啊，这个也整理不了，这个也是二分之一的 q n 加上二分之一的 p n。 好，我们整理哪一个？我们先整理这一个，因为四分之一提出来之后，四分之一提出来之后，你看四分之一啊， p n 加 t n， 再加上二分之一的 q n， 你看 p n 加 t n 是什么鬼？是不是一减二倍的 q n， 所以四分之一的一减二倍的 q n 再加上个二分之一的 q n， 哎，发现什么？发现二分之一的 q n 抵消掉了，所以等于四分之一，哎，我们得到一个非常关键的一个式子，就是说 q q n 永远等于四分之一，哎，所以 a 对的，也就说 q n 永远等于四分之一，哎，那我们就可以把式子简化一下，式子简化一下，那我们简化成啊，到这简化，那我们 p n 加 t n 就等于什么？等于二分之一，是不是 pn 加 tn 等于二分之一？好， pn 加 tn 等于二分之一，那我们代入，代入第二个数字，那就简单了嘛，那就 pn 加一等于二分之一的 啊， q n 加上什么？加上二分之一的一减去 撇，是不是？这是我们第二个式子，然后最下面这个式子，最下面这个式子， t n 加一等于二分之一的二分之一的 q n 加二分之一的 p n 啊，二啊，这里这里不用算了，这不算，这直接算出来是吧？因为 q n 是等于四分之一啊，这看丢了啊，这里 q n 是四分之一，所以就是八分之一加上什么加上二分之一减去二分之一的撇，所以我们就直接可以算出来了，所以 p n 加一就等于八分之三减去二分之一 p n 啊，由于这个题我们要算出，呃，这个 啊，我们得到 abcd， 哪个是对的？那我们必须把那个 pn 解析式要算出来，是吧？那这里我们就还是大连系数吧，我们 pn 加一加 x 吧， p n 加一加 x 就等于负二分之一的 p n 加 x 啊，这里我们稍微待定一下，这个算一算啊， 所以就是负二分之一 x 减 x 就等于什么等于八分之三啊？这里 再说一遍，我这里直接就是代替系数了，我们让 pn 加 x 一个等比数列，它的公比就是我们前面系数，所以我们就立马可以算出来， x 就等于，你看，负二分之三，所以四分之一啊， 所以我们这里啊，就是负四分之一，是吧？因为负二分之三，所以负四分之一。 ok， 那我们就知道 p n 减四分之一是等比数类，那我们 p n 减四分之一， p n 减四分之一是等比数类。 等于什么？ p 一减四分之一乘以什么？负二分之一的 n 减一四方，然后 p 一等于多少呢？ p 一等于多少 啊？ q n 等于 q e 等于四分之一， t e 呢？ t e 等于二分之一啊， p e， 那注意，那你说我们的 t e 是等于 二分之一啊，带入这里， p 一等于零是吧？啊，当然也可以知道你第一次在 a 点的概率是多少，肯定是零嘛，因为你如果一开始位于 o 点，呃，一开始位于 a 点，敲一次之后不可能还在 a 点吧，是不是所以 p 一等于零啊？ 跳跃一次的概率啊， p 一等于零好， p 一等于零，好，我们这里就得到 p n 就等于四分之一减去四分之一的 负二分之一， n 减一次方，而我们为了这里跟他统一起见，你把四分之一写作什么四分之一，你可以写作负二分之一的平方，那这里那么四分之一减去负二分之一平方，加上啊，乘以这个，那就是负二分之一的 n 加一次吧。哎，我们就写出偏了，是吧，让我们看下 c 选项，青青蛙跳动了一个基数字之后是，呃，概率小于四分零，那我们主要看一下他这是后面为正为负啊， n 为基啊， n 为基的话， 那么 n 加一就是偶数了吧，那么负二分之一的 n 加一次方，那肯定是大于零啊，大于零，所以 p n 就小于四分之一是吧，所以 c 也是对的是吧？啊，我们看 d 选项啊， d 选项有时候存在 存在啊， n 属于正整数，使得就说，那我们 c 点的概率跟 d 点概率相等啊， d 点概率就是四分之一，也就说存不存在一个整数使得 t n 等于四分之一，那我们这里 排球啊， t n， 而我们刚刚在这里啊，刚刚在这里就有啊。 t n 等于什么？二分之一减去。呃， p n 是吧？ t n 等于二分之一减去 p n 啊，我们这里 p n 也算出来了。呃，所以这一算就是什么？ 呃，一算我们这里就是四分之一，加上负二分之一的 n 加一次方还要等于四分之一，可能吗？这里肯定不能等于零呢。所以 不可能啊，不存在 n 啊，所以 d 是错的。 ok， 这个题我们就做完了，我希望通过这些题目你们把这啊，这三种吧，这三种马尔克夫恋的形形掌握清楚啊。啊，一种是 我们一阶的啊，就是一阶的啊。呃，第二种呢？第二种就是啊，多阶的。什么叫多阶呢？就是，呃，我们前我们一个状态被两个状态影响，其实就是我们的铜像公式里面存在什么？存在二阶的铜像， 二对二级的地推吧。然后第三种就是什么？这种三维的是吧？这种三维的啊，不要两个人传，两个传球变成三个人传球 和我们的可选可选择东西有三个啊，当然应，应该来说不可能有四个的，有四个这个，那太变态了是不是？ ok， 这就是今天的这一个马尔克夫恋的一个内容。

大家好，欢迎再次回到我的频道。这是马尔克夫恋系列的第三期，一个非常重要的课程。今天我将深入讲解高阶转移矩阵，以及他们如何与平衡状态相关。 当你尝试从书本上学习这个主题时，书本只会呈现一堆公式，但并没有解释直观的含义。今天我将试图帮你建立这种直观感受，希望你能够喜欢。顺便提醒一下，如果你是新朋友，请别忘了关注我的频道， 我会定期发布有关机器学习和数据科学的视频。好，我们开始吧。首先，我强烈推荐你先去看看我之前的两个视频，这样你才能完全理解今天的内容。视频链接已经放在视频描述里了。 好，我们先来看一个简单的马尔克夫恋。为了让事情看起来不那么复杂，我没有在转移箭头上显示转移概率。你可 可以在名为的转移矩阵中找到他们。我们将通过一个有趣的问题来引发讨论，从状态 i 到达状态卷刚好需要 n 步，概率是多少呢？我用劈下划线印来表示这个概率，这个问题很难，对吧？我们试着简化一下， 假设还是零， g 是二步数， n 是一，这个就简单多了。只有一种方式可以在一步内从状态零到达状态二。我们直接查看矩阵 a 中地零行第二列的数值，这个结果是零点三。我们可以很清楚的看到，如果 n 等于一，那么 p 下划线 ij 就等于下划线 ij。 但如果 n 等于二呢？有多种方式可以在两步内从状态零到达状态二，对吧？我们需要考虑所有可能的路径，并将他们的概率相加。比如我们可以这样走，先去一，然后去二， 这条路径对应的概率就是两个转移概率的成绩。注意，这样做的原因是因为马尔克夫性质。另外一种可能的路径是这样， 我们首先在状态零待着不动，然后我们再去状态二，这里的概率是这样的，你能找到第三条路径吗？对的，我们先去状态二，然后在那待着不动。这条路径也有效，因为在两步后我们还在状态二。概率是这样的。 把这些可能性加起来，我们得到的答案是零点二二，但这里的具体答案并不是关键，我们真正感兴趣的是产生这个答案的每个概率。 我稍微调整一下这些像好，这个表达式就是三个成绩项的总和，我们可以将它重写为两个项量的成绩。你能找出这两个项量吗？就是这两个。第一个是行项量， 二个系列像量。现在如果你看一下我们的转移矩阵，哎，你会发现这些像量就是他的一部分，这是巧合吗？我们再试一次，这次我们要找的是 p 幺零二，也就是从状态移在两步后到达状态零的概率，这结果就是这两个像量的成绩。 如果我们查看转移矩阵，我们又能找到这些像量。所以，显然，如果你曾经学过线性代数，你一定会发现，这和我们如何做矩阵乘法有些相似。但是这里只有一个矩阵。 如果我们把这个转移矩阵与自己相乘，会得到什么呢？我们得到的是一个我们称之为 a 平方的新矩阵。你还记得我们两步内从状态零到达状态二的概率是多少吗？对，是零点二二，这就是 a 平方矩阵的第零行和第二列的值。你可以通过验证矩阵乘法的计算方式 来确认这一点。总的来说，我们可以说在两步内从状态 i 到达状态距的概率就等于 a 平方矩阵中典型和 d 界列的元素。这不是很酷吗？ 我觉得这太神奇了。既然我们已经知道了两步转移的概率，我们就可以把 a 和平方相乘得到三步转移矩阵。这就是我们如何推广到 n 部或 n 阶转移矩阵。 因此，要找到在 n 部转移中从状态 i 到达状态距的概率，我们只需要看 n 阶转移矩阵的地形和地距列就行了。 好的，所以现在我们知道，通过重复进行矩阵乘法，我们可以找到恩，不转移的概率。但其实我们还使用了一个很重要的定理，我们在没多想的情况下就用上了 这个定理，被称为 chimen co margrove 定理。我们之所以能使用它是因为马尔克夫性质。它看起来是这样的。我们可以考虑从挨道具 n 部中先在 dr 部停在状态 k， 然后我们对所有可能的 k 值求和。记住，当我们计算从状态零到状态二的概率时，我们就使用了这种方法。 这里的二是一，得益于这个定理，我们通过重复的矩阵乘法得到了正确的结果。如果你想要这个定理的正式证明，请暂停视频并阅读下面给出的证明。 现在，我将向你展示更高阶的转移矩阵是如何与静态分布或平衡分布相关的。我希望你还记得我在第一个视频中介绍的静态分布的概念。 简单来说，他是长期访问每个状态的概率。那么在那个视频中，我解释了我们是怎么用特征像量来找到他的，但在这个视频中，我们将从另一个角度来看待他们，长期来看意味着无数次的转移。那么如果我们求的无穷次方呢？ 好吧，我们不能真的求一个数的无穷四方，但我们可以求极限，是吧？我们看看当我们不断的把与自己相乘会发生什么，这个矩阵的每一行都收敛到同一个航向量，这就是这个马尔克夫恋的静态分布。我们来试着解释一下爷爷的无穷四方的元素都代表着什么。 好的 a 的无穷四方的 ig 元素及 peach 的无穷四方表示从状态出发，经过无数步后处于状态句的概率。对于固定的句，这个值是一样的。 换句话说，他不依赖于开始的状态，这是非常合理的，因为静态分布是整个马尔克夫恋的属性，他不依赖于开始的状态。 我可能需要提醒一下，只有在满足一定条件的情况下， a 的无穷四方的形才会收敛。这也就是说，静态分布实际上存在其中一个条件，就是我在上一个视频中已经讨论过的不可。 另一个条件是周期性，这将是未来视频的主题。那么今天就到这里吧，朋友们，我希望你们真的喜欢这个视频，请分享这个视频给你的朋友，别忘了关注，你也可以在评论区提出你想了解的新主题，感谢你的观看。

大家好，欢迎观看数字到第十九集，我是 ty， 很高兴又和大家见面了。在上期的节目当中，我们简单介绍了马尔可夫练的基础知识和应用案例，包括其三大核心要素， 一、 fass 状态空间。二， marrysnas 无记忆性。三、选择性 max 转移矩阵，并对其稳态分布进行了推导。在今天的节目当中，我们将继续该话题的探讨。 相信大家一定还记得著名的大数定理捞 flat nimer 时，当我们所进行的实验，比如简单的硬币投掷实验，正面返回一，反面返回零，每次实验的结果是独立 且服从相同的概率分布，那么随着实验次数的增加，其算数平均值就越接近期望值。 而马可福链的稳态分布也向我们证明了独立性并非均值收敛的必要条件，即使非独立的随机过程也能收敛之稳态。在上期案例中，小明的早餐选择受前一日的影响， 我们可以从小明早餐选择的马尔克夫链中推倒，获得其稳态分布，进而了解他整体的早餐偏好。 接下来，我会在 xl 中通过对稍复杂一点的马可福电案例进行模型推导，帮助大家加深对稳态分布的理解， 同时也能了解高阶的 x 函数和功能是如何与数学理论相结合而发挥更大的作用。 这是一个包括 abc 三个状态的马卡福链，其转移矩阵 m 是这样的，我们可以随机设置初始状态的概率分布项链 x， 利用一个比较冷门但非常有用的 xl 矩阵公式 mate smarteparm max， 让 m 和 x 相乘，便能够得到下一期的状态概率分布了。 这里要注意一点，由于我们返回的结果是包括三个值的项链，因此我们需要在 xl 中先选择好三个单元格作为输出区域，再录入 m 冒头 函数，录入完成后，点击 ctrl shift ant 完成计算返回结果。其实在 xl 中，这类专门针对矩证或项链进行计算的函数被称为数组函数，这个我们以后有机会再深入聊。 在有了第二期的状态概率分布后，我们可以以此类推计算第三、四、五更多期的概率分布，观察最终是否会收敛至稳态分布， 这里的结果就显而易见了。当然，以上是一种求解稳态分布简单实用的方法。 其实稳态分布本身满足下面的特点，假如存在并已达到稳态，那么 m 乘 x 就应该等于 x， 这等同于只需要使用数学的方法求解矩阵 m 特征值为一的特征项链即可。 我们将 m 乘 x 等于 x 进行变换，得到 m 减单位矩阵 i， 再乘 x 等于零的方程式求解 x， 便能得到稳态分布解了。 你可以在草稿纸上进行求解，也可以借助 xl 的一个高阶功能 sorry 规划求解器进行求解 m 减 i 的矩阵结果。在 m 十九到 o 二十一的单元格区域中， p 十九到 p 二十一代表着稳态分布项链 x。 我们可以录入三个非负 和为一的随机值，并将和的结果体现在单元格 p 二十二中。 m 乘 x 的结果通过 m 帽函数返回。在 q 十九到 q 二十一中， 我们需要通过变化 p 十九到 p 二十一三个单元格的值，让 q 十九到 q 二十一的结果与目标结果 r 十九到 r 二十一相同。 掌握了模型求解思路后，我们打开数据栏中的规划求解功能，将刚刚的思想逐一进行设置， 目标值设置成最大化 p 二二。其实 p 二十二根据约束条件始终为一，这里只是为了单纯的满足设置要求，并不影响最终结果。 在满足约束条件的情况下，电话单元格区域 p 十九到 p 二十一直到达成目标为止。 在约束条件录入框中分别添加 p 二十二等于一、 q 十九到 q 二十一等于 r 十九到 r 二十一， 勾选变量设置，使概率参数满足非富条件算法。这里可以直接选择默认的 grg 囊里脸。如果大家感兴趣的话，我会在未来的节目中专门介绍 grg 囊里脸 f 六型、 cpx、 l、 p 三种不同算法的区别和应用场景。所以 xl 背后还蕴藏着无穷的宝藏。如果你想和我一起寻宝，别忘了关注方音扣， 当设置就绪后，点击求解，我们就得到了稳态分布节了。由于节目篇幅的关系，上期节目中提到的马尔克夫练的便利性二狗 st 我只能在下期安排上了。 另外关于马尔克夫电，我们还有很多可以谈，比如引马尔克夫电、马尔克夫电、蒙特卡洛算法、 mcmc 等等，我都会在二零二二年的节目中安排上。最后感谢大家的观看，让我们下期节目再见！