本文目录
- 马尔可夫性质强调在每一个动作状态序列中下一个状态与什么有关
- 什么是马尔科夫性
- 何为markov 链的类一个类中的状态具有哪些共同的特性请举例
- 马尔可夫性质强调在每一个动作状态序列中,下一个状态与（）有关
- 01 隐马尔可夫模型 - 马尔可夫链、HMM参数和性质
- 什么是马尔可夫随机场
- 马尔科夫的马尔可夫链
马尔可夫性质强调在每一个动作状态序列中下一个状态与什么有关
马尔可夫性质强调在每一个动作状态序列中下一个状态与当前状态有关。
安德烈·马尔可夫俄罗斯人，物理和数学博士，圣彼得堡科学院院士，彼得堡数学学派的代表人物，以数论和概率论方面的工作著称，他的主要著作有《概率演算》等。1878年，荣获金质奖章，1905年被授予功勋教授称号，他的儿子A.A.马尔可夫后来也成为著名的俄罗斯数学家。
1878年毕业，并以《用连分数求微分方程的积分》一文获金质奖章。两年后，取得硕士学位 ，并任圣彼得堡大学副教授。1884年取得物理和数学博士学位，1886 年任该校教授。
人物简介
马尔可夫决策过程是基于 马尔可夫过程理论的随机动态系统的最优决策过程，马尔可夫决策过程是 序贯决策的主要研究领域。它是马尔可夫过程与确定性的 动态规划相结合的产物，故又称马尔可夫型随机动态规划，属于运筹学中数学规划的一个分支。
马尔可夫决策过程是指决策者周期地或连续地观察具有马尔可夫性的随机动态系统，序贯地作出决策。即根据每个时刻观察到的状态，从可用的行动集合中选用一个行动作出决策，系统下一步的状态是随机的，并且其状态 转移概率具有马尔可夫性。
什么是马尔科夫性
本段马尔科夫预测 1.1.基本概念 1.1.1 随机变量 、 随机函数与随机过程 一变量x，能随机地取数据（但不能准确地预言它取何值），而对于每一个数值或某一个范围内的值有一定的概率，那么称x为随机变量。 假定随机变量的可能值xi发生概率为Pi，即P(x = xi) = Pi，对于xi的所有n个可能值，有离散型随机变量分布列： ∑Pi = 1 对于连续型随机变量，有 ∫P(x)dx = 1 在试验过程中，随机变量可能随某一参数（不一定是时间）的变化而变化. 如测量大气中空气温度变化x = x(h),随高度变化。这种随参变量而变化的随机变量称为随机函数。而以时间t作参变量的随机函数称为随机过程。也就是说：随机过程是这样一个函数，在每次试验结果中，它以一定的概率取某一个确定的，但预先未知的时间函数。 1.1.2 马尔科夫过程 随机过程中，有一类具有“无后效性性质”，即当随机过程在某一时刻to所处的状态已知的条件下，过程在时刻t》to时所处的状态只和to时刻有关，而与to以前的状态无关，则这种随机过程称为马尔科夫过程。 即是：ito为确知,it(t》to)只与ito有关，这种性质为无后效性，又叫马尔科夫假设。 1.1.3 马尔科夫链 时间和状态都是离散的马尔科夫过程称为马尔科夫链。例：蛙跳问题 假定池中有N张荷叶，编号为1，2，3,……,N，即蛙跳可能有N个状态（状态确知且离散）。青蛙所属荷叶，为它目前所处的状态；因此它未来的状态，只与现在所处状态有关，而与以前的状态无关（无后效性成立） 1.2 状态转移矩阵 1.2. 1 一步状态转移矩阵 系统有N个状态，描述各种状态下向其他状态转移的概率矩阵 P11 P12 …… P1N 定义为 P = P21 P22 …… P2N : : : PN1 PN2 …… PNN 这是一个N阶方阵，满足概率矩阵性质 1） Pij ≥ 0,i,j = 1,2, ……, N 非负性性质 2） ∑ Pij = 1 行元素和为1 ,i=1,2,…N 如： W1 = 3）若A和B分别为概率矩阵时，则AB为概率矩阵。 1.2.2 稳定性假设 若系统的一步状态转移概率不随时间变化，即转移矩阵在各个时刻都相同，称该系统是稳定的。这个假设称为稳定性假设。蛙跳问题属于此类，后面的讨论均假定满足稳定性条件。 因此,在已知初始条件下求长期市场占有率就是求稳态概率矩阵,也是求固定概率向量. 求固定概率向量的方法,我们在前一节已有例子,只不过说明了长期市场占有率也是只与稳态矩阵有关,与初始条件无关.本段马尔可夫分析法（markov analysis） 马尔可夫分析法（markov analysis）又称为马尔可夫转移矩阵法，是指在马尔可夫过程的假设前提下，通过分析随机变量的现时变化情况来预测这些变量未来变化情况的一种预测方法。 马尔可夫分析法的涵义 单个生产厂家的产品在同类商品总额中所占的比率，称为该厂产品的市场占有率。在激烈的竞争中，市场占有率随产品的质量、消费者的偏好以及企业的促销作用等因素而发生变化，企业在对产品种类与经营方向做出决策时，需要预测各种商品之间不断转移的市场占有率。 市场占有率的预测可采用马尔可夫分析法，也就是运用转移概率矩阵对市场占有率进行市场趋势分析的方法。俄国数学家马尔可夫在20世纪初发现：一个系统的某些因素在转移中，第N次结果只受第N－1次结果影响，只与当前所处状态有关，与其他无关。例如：研究一个商店的累计销售额，如果现在时刻的累计销售额已知，则未来某一时刻的累计销售额与现在时刻以前的任一时刻的累计销售额都无关。 在马尔可夫分析中，引入状态转移这个概念。所谓状态是指客观事物可能出现或存在的状态；状态转移是指客观事物由一种状态转移到另一种状态的概率。 马尔可夫分析法的一般步骤为： 1、调查目前的市场占有率情况； 2、调查消费者购买产品时的变动情况； 3、建立数学模型； 4、预测未来市场的占有率。 马尔可夫分析模型 实际分析中，往往需要知道经过一段时间后，市场趋势分析对象可能处于的状态，这就要求建立一个能反映变化规律的数学模型。马尔可夫市场趋势分析模型是利用概率建立一种随机型的时序模型，并用于进行市场趋势分析的方法。本段马尔可夫分析法的应用 马尔可夫分析法是研究随机事件变化趋势的一种方法。市场商品供应的变化经常受到各种不确定因素的影响而带有随机性，企业要根据对市场占有率的预测结果采取各种措施争取顾客，如果这种随机性具有无后效性，则用马尔可夫分析法可以对其未来发展趋势进行市场趋势分析，从而采取相应措施提高市场占有率。提高市场占有率一般可采取三种策略： （1）设法保持原有顾客； （2）尽量争取其他顾客； （3）既要保持原有顾客又要争取新的顾客。 第三种策略是前两种策略的综合运用，其效果比单独使用一种策略要好，但其所需费用较高。如果接近于平稳状态时，一般不必花费竞争费用，所以既要注意市场平稳状态的分析，又要注意市场占有率的长期趋势的分析。 争取顾客、提高市场占有率的策略和措施一般有： （1）扩大宣传。主要采取广告方式，通过大众媒体向公众宣传商品特征和顾客所能得到的利益，激起消费者的注意和兴趣。 （2）扩大销售。除联系现有顾客外，积极地寻找潜在顾客，开拓市场。如向顾客提供必要的服务等。 （3）改进包装。便于顾客携带，增加商品种类、规格、花色，便于顾客挑选，激发顾客购买兴趣。 （4）开展促销活动。如展销、分期付款等。 （5）调整经营策略。根据市场变化，针对现有情况调整销售策略，如批量优待、调整价格、市场渗透、提高产品性能、扩大产品用途、降低产品成本等，以保持市场占有率和扩大市场占有率。 人力资源方面的应用 在应用到人力资源管理方面时，马尔可夫分析法是组织内部人力资源供给预测的一种方法，这种方法用于具有相等时间间隔的时刻点上各类人员的分布状况。在具体运用中，假设给定时期内从低一级向上一级或从某一职位转移到另一职位的人数是起始时刻总人数的一个固定比例，即转移率一定，在给定各类人员起始人数、转移率和未来补充人数的条件下，就可以确定出各类人员的未来分布状况，作出人员供给的预测。这种分析方法通常通过流动可能性比例矩阵来进行预测某一岗位上工作的人员流向组织内部另一岗位或离开的可能性。 马尔可夫分析法的适用范围包括： （1）适用于人员流动比例相对稳定的公司； （2 ）适用于每一级别员工人数至少有50 人的公司，但人数稍多时也可使用； （3 ）流向某岗位的人数取决于该岗位空缺的数量。本段马尔科夫转移矩阵法定义： 单个生产厂家的产品在同类商品总额中所占的比率，称为该厂产品的市场占有率。在激烈的竞争中，市场占有率随产品的质量、消费者的偏好以及企业的促销作用等因素而发生变化。企业在对产品种类与经营方向做出决策时，需要预测各种商品之间不断转移的市场占有率。 市场占有率的预测可采用马尔科夫转移矩阵法，也就是运用转移概率矩阵对市场占有率进行市场趋势分析的方法。马尔科夫是俄国数学家，他在20世纪初发现：一个系统的某些因素在转移中，第n次结果只受第n-1的结果影响，只与当前所处状态有关，与其他无关。比如：研究一个商店的累计销售额，如果现在时刻的累计销售额已知，则未来某一时刻的累计销售额与现在时刻以前的任一时刻的累计：销售额都无关。 ， 在马尔科夫分析中，引入状态转移这个概念。所谓状态是指客观事物可能出现或存在的状态；状态转移是指客观事物由一种状态转穆到另一种状态的概率。步骤： 马尔科夫分析法的一般步骤为： ①调查目前的市场占有率情况； ②调查消费者购买产品时的变动情况； ③建立数学模型； ④预测未来市场的占有率。本段马尔科夫分析模型 实际分析中，往往需要知道经过一段时间后，市场趋势分析对象可能处于的状态，这就要求建立一个能反映变化规律的数学模型。马尔科夫市场趋势分析模型是利用概率建立一种随机型的时序模型，并用于进行市场趋势分析的方法。 马尔科夫分析法的基本模型为： X(k+1)=X(k)×P 公式中：X(k)表示趋势分析与预测对象在t=k时刻的状态向量，P表示一步转移概率矩阵， X(k+1)表示趋势分析与预测对象在t=k+1时刻的状态向量。 必须指出的是，上述模型只适用于具有马尔科夫性的时间序列，并且各时刻的状态转移概率保持稳定。若时间序列的状态转移概率随不同的时刻在变化，不宜用此方法。由于实际的客观事物很难长期保持同一状态的转移概率，故此法一般适用于短期的趋势分析与预测。本段隐马尔可夫模型 隐马尔可夫模型（Hidden Markov Model，HMM）是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析，例如模式识别。本段马尔可夫链 马尔可夫链，因安德烈·马尔可夫（A.A.Markov，1856－1922）得名，是数学中具有马尔可夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的。本段马尔科夫过程的稳定状态 在较长时间后，马尔科夫过程逐渐处于稳定状态，且与初始状态无关。马尔科夫链达到稳定状态的概率就是稳定状态概率，也称稳定 概率。市场趋势分析中，要设法求解得到市场趋势分析对象的稳态概率，并以此做市场趋势分析。 在马尔科夫分析法的基本模型中，当X：XP时，称X是P的稳定概率，即系统达到稳定状态时的概率向量，也称X是P的固有向量或特征向量，而且它具有唯一性。本段马尔科夫转移矩阵法的应用 马尔科夫分析法，是研究随机事件变化趋势的一种方法。市场商品供应的变化也经常受到各种不确定因素的影响而带有随机性，若其具有"无后效性"，则用马尔科夫分析法对其未来发展趋势进行市场趋势分析五，提高市场占有率的策略预测市场占有率是供决策参考的，企业要根据预测结果采取各种措施争取顾客。提高市场占有率一般可采取三种策略： (1)设法保持原有顾客； (2)尽量争取其他顾客； (3)既要保持原有顾客又要争取新的顾客。 第三种策略是前两种策略的综合运用，其效果比单独使用一种策略要好，但其所需费用较高。如果接近于平稳状态时，一般不必花费竞争费用。所以既要注意市场平稳状态的分析，又要注意市场占有率的长期趋势的分析。 争取顾客、提高市场占有率的策略和措施一般有： ①扩大宣传。主要采取广告方式，通过大众媒体向公众宣传商品特征和顾客所能得到的利益，激起消费者的注意和兴趣。 ②扩大销售。除联系现有顾客外，积极地寻找潜在顾客，开拓市场。如向顾客提供必要的服务等。 ③改进包装。便于顾客携带，增加商品种类、规格、花色，便于顾客挑选，激发顾客购买兴趣。 ④开展促销活动。如展销、分期付款等。 ⑤调整经营策略。根据市场变化，针对现有情况调整销售策略，如批量优待、调整价格、市场渗透、提高产品性能、扩大产品用途、降低产品成本等，以保持市场占有率和扩大市场占有率。
何为markov 链的类一个类中的状态具有哪些共同的特性请举例
马尔可夫链，因安德烈·马尔可夫（A.A.Markov，1856－1922）得名，是数学中具有马尔可夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的。 马尔可夫链是随机变量X_1,X_2,X_3的一个数列。这些变量的范围，即他们所有可能取值的集合，被称为“状态空间”，而X_n的值则是在时间n的状态。如果X_{n+1}对于过去状态的条件概率分布仅是X_n的一个函数，则 P(X_{n+1}=x|X_0, X_1, X_2, \ldots, X_n) = P(X_{n+1}=x|X_n). \, 这里x为过程中的某个状态。上面这个恒等式可以被看作是马尔可夫性质。 马尔可夫在1906年首先做出了这类过程 。而将此一般化到可数无限状态空间是由柯尔莫果洛夫在1936年给出的。 马尔可夫链与布朗运动以及遍历假说这两个二十世纪初期物理学重要课题是相联系的，但马尔可夫寻求的似乎不仅于数学动机，名义上是对于纵属事件大数法则的扩张。
马尔可夫性质强调在每一个动作状态序列中,下一个状态与（）有关
马尔可夫性质强调在每一个动作状态序列中,下一个状态与（）有关。 A.外部影响 B.主体内因 C.历史状态 D.当前状态 正确答案：D
01 隐马尔可夫模型 - 马尔可夫链、HMM参数和性质
先直白得讲性质： 当前的状态只和上一时刻有关，在上一时刻之前的任何状态都和我无关。我们称其 符合 马尔可夫性质。
下面是理论化的阐述： 设{X(t), t ∈ T}是一个 随机过程 ，E为其状态空间，若对于任意的t1《t2《 ...《tn《t，任意的x1,x2,...,xn,x∈E，随机变量X(t)在已知变量X(t1)=x1,...,X(tn)=xn之下的条件分布函数只与X(tn)=xn有关，而与X(t1)=x1,...,X(tn-1)=xn-1无关，即条件分布函数 满足 下列等式，此性质称为 马尔可夫性 ；如果随机过程 满足 马尔可夫性，则该过程称为马尔可夫过程。
马尔可夫链 是指具有马尔可夫性质的随机过程。在过程中，在给定当前信息的情况下，过去的信息状态对于预测将来 状态 是无关的。
例子： 在今天这个时间点而言，过去的股价走势对我预测未来的股价是毫无帮助的。 PS：上面马尔可夫链中提到的 状态 ，在本例指的是 股价 。
在马尔可夫链的每一步，系统根据 概率分布 ，可以从一个状态变成另外一个状态，也可以保持当前状态不变。状态的改变叫做 转移 ，状态改变的相关概率叫做 转移概率 。
例子： 当前时间状态下的股价，可以转变成下一时刻的股价，股价的转变即 状态的改变 。这个状态现在可以上升(股价提高)，状态也可以下降。我可以根据当前股票的价格去决定下一刻股价上升、下降、不变的概率。这种股价变动的概率称为 状态转移概率 。
马尔可夫链中的 三元素是 ：状态空间S、转移概率矩阵P、初始概率分布π。
1、状态空间S - 例： S是一个集合，包含所有的状态 S 股价 ={高，中，低} ；
2、初始概率分布π - 例： 股价刚发行的时候有一个初始价格，我们认为初始价格为高的概率为50%，初始价格为中的概率是30%，初始价格为低的概率是20%。我们记股票价格的初始概率分布为：π=(0.5，0.3，0.2)；对应状态：(高、中、低)； 初始概率分布是一个向量 ，如果有n个状态，π是n维向量。
3、转移概率矩阵P - 例： 现在有个股价为中，下一个时刻状态转变的可能性有三种，中→高、中→低、中→中；将三种转变的概率。此外当前时刻也有股票的价格属于低，对应的转变可能包括低→高、低→低、低→中；即每种状态都有可能转变成其他的状态，若一共有n个状态，形成的 转移概率矩阵 应该是n×n阶矩阵。这里需要注意的是，股价从高→低，和低→高的概率是不同的。
设将天气状态分为晴、阴、雨三种状态，假定某天的天气状态只和上一天的天气状态有关，状态使用1(晴)、2(阴)、3(雨)表示，转移概率矩阵P如下：
第n+1天天气状态为j的概率为：
因此，矩阵P即为条件概率转移矩阵。矩阵P的第i行元素表示，在上一个状态为i的时候的分布概率，即每行元素的和必须为1。
隐马尔可夫模型(Hidden Markov Model, HMM)是一种统计模型，在语音识别、行为识别、NLP、故障诊断等领域具有高效的性能。
HMM是关于时序的概率模型，描述一个含有未知参数的马尔可夫链所生成的不可观测的状态随机序列，再由各个状态生成观测随机序列的过程。
HMM是一个双重随机过程---具有一定状态的隐马尔可夫链和随机的观测序列。
HMM随机生成的状态随机序列被称为状态序列；每个状态生成一个观测，由此产生的观测随机序列，被称为观测序列。
思考： z1,z2...,zn是 不可观测的状态，x1,x2,...xn是 可观测到的序列 ；不可观测的状态觉得可观测序列的值(z的取值决定x的取值)；
1、在 z1、z2 不可观测 的情况下，x1和z2独立吗？x1和x2独立吗？
回答： 这个问题可以回顾之前的 贝叶斯网络 来理解。 首先z1，z2都是离散的值，但x1的值可能是离散的也可能是连续的。比如z是天气情况，每天天气的改变是离散的。x是因为天气而改变的一些其他状态，比如x=(地面是否潮湿、路上行人数量、雨伞销售数量...)； 在z1和z2不可观测的情况下，x1和z2不独立，x1和x2也是不独立的。
2、 在 z1、z2可观测 的情况下，x1和z2独立吗？x1和x2独立吗？
回答： 在z1和z2可观测的情况下，因为x1和z2的取值只和z1有关，所以就独立了。同样在给定了z1和z2的情况下，x1和x2也独立。
请回顾贝叶斯网络中的独立性问题来思考这个问题。 04 贝叶斯算法 - 贝叶斯网络
回顾： 一般而言，贝叶斯网络的有向无环图中的节点表示随机变量，可以是可观察到的变量，或隐变量，未知参数等等。连接两个节点之间的箭头代表两个随机变量之间的因果关系(也就是这两个随机变量之间非条件独立)；如果两个节点间以一个单箭头连接在一起，表示其中一个节点是“因”，另外一个节点是“果”，从而两节点之间就会产生一个条件概率值。
PS：每个节点在给定其直接前驱的时候，条件独立于其非后继。
HMM 由隐含状态S、可观测状态O、初始状态概率矩阵π、隐含状态转移概率矩阵A、可观测值转移矩阵B(又称为混淆矩阵，Confusion Matrix)；
π和A决定了状态序列，B决定观测序列，因此HMM可以使用三元符号表示，称为HMM的三元素：
S可以统计历史出现的所有状态； 初始概率分布π，统计S中各个状态各自出现的概率作为我们的初始概率分布π向量值；
S是所有可能的状态集合，O是所有可能的观测集合：
I是长度为T的状态序列，Q是对应的观测序列：
S={下雨，阴天，晴天}；O={地上干，地上湿} I = {晴，雨，雨，阴，晴，阴} Q={干，湿，湿，湿，干，干}
A是隐含状态转移概率矩阵:
其中aij是在时刻t处于状态si的条件下时刻t+1转移到状态sj的概率。 a 晴雨 = 某天是晴天条件下，下一天是雨天的概率。 （某一时刻→下一时刻）
B是可观测值转移概率矩阵:
其中bij是在时刻t处于状态si的条件下生成观测值oj的概率。 b 晴干 = 某天是晴天条件下，某天是地是干的的概率。 （同一时刻）
π是初始状态概率向量:
其中πi是在时刻t=1处于状态si的概率。 π 晴 = 初始第一天是晴天的概率； π 雨 = 初始第一天是雨天的概率；
p(i t | .....) 表示在从 t-1时刻的观测值q t-1 ，一直到第1时刻观测值q1 的条件下，在第t时刻发生状态的概率。
性质1： 最终分析结果发现，在第t时刻发生状态的概率it只和t-1时刻有关。 性质2： 第t时刻的观测值qt只和第t时刻的状态it有关。
假设有三个盒子，编号为1,2,3；每个盒子都装有黑白两种颜色的小球，球的比例。如下：
按照下列规则的方式进行有放回的抽取小球，得到球颜色的观测序列： 1、按照π的概率选择一个盒子，从盒子中随机抽取出一个球，记录颜色后放回盒子中； 2、按照某种条件概率选择新的盒子，重复该操作； 3、最终得到观测序列：“白黑白白黑”
例如： 每次抽盒子按一定的概率来抽，也可以理解成随机抽。 第1次抽了1号盒子①，第2次抽了3号盒子③，第3次抽了2号盒子②.... ； 最终如下： ①→③→②→②→③ 状态值 白→黑→白→白→黑 观测值
1、 状态集合： S={盒子1，盒子2，盒子3} 2、 观测集合： O={白，黑} 3、 状态序列和观测序列的长度 T=5 (我抽了5次) 4、 初始概率分布： π 表示初次抽时，抽到1盒子的概率是0.2，抽到2盒子的概率是0.5，抽到3盒子的概率是0.3。 5、 状态转移概率矩阵 A：a11=0.5 表示当前我抽到1盒子，下次还抽到1盒子的概率是0.5； 6、 观测概率矩阵 B：如最初的图，b11=第一个盒子抽到白球概率0.4，b12=第一个盒子抽到黑球概率0.6;
在给定参数π、A、B的时候，得到观测序列为“白黑白白黑”的概率是多少?
这个时候，我们不知道隐含条件，即不知道状态值：①→③→②→②→③ ； 我们如何根据π、A、B求出测序列为“白黑白白黑”的概率？
02 隐马尔可夫模型 - HMM的三个问题 - 概率计算、学习、预测
什么是马尔可夫随机场
马尔可夫随机场（Markov Random Field）包含两层意思。一是什么是马尔可夫，二是什么是随机场。马尔可夫一般是马尔可夫性质的简称。它指的是一个随机变量序列按时间先后关系依次排开的时候，第N+1时刻的分布特性，与N时刻以前的随机变量的取值无关。拿天气来打个比方。如果我们假定天气是马尔可夫的，其意思就是我们假设今天的天气仅仅与昨天的天气存在概率上的关联，而与前天及前天以前的天气没有关系。其它如传染病和谣言的传播规律，就是马尔可夫的。随机场包含两个要素：位置（site），相空间（phase space）。当给每一个位置中按照某种分布随机赋予相空间的一个值之后，其全体就叫做随机场。我们不妨拿种地来打个比方。“位置”好比是一亩亩农田；“相空间”好比是种的各种庄稼。我们可以给不同的地种上不同的庄稼，这就好比给随机场的每个“位置”，赋予相空间里不同的值。所以，俗气点说，随机场就是在哪块地里种什么庄稼的事情。好了，明白了上面两点，就可以讲马尔可夫随机场了。还是拿种地打比方，如果任何一块地里种的庄稼的种类仅仅与它邻近的地里种的庄稼的种类有关，与其它地方的庄稼的种类无关，那么这些地里种的庄稼的集合，就是一个马尔可夫随机场。
马尔科夫的马尔可夫链
马尔可夫链，因安德烈·马尔可夫（A.A.Markov，1856－1922）得名，是数学中具有马尔可夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的。马尔科夫过程的稳定状态在较长时间后，马尔科夫过程逐渐处于稳定状态，且与初始状态无关。马尔科夫链达到稳定状态的概率就是稳定状态概率，也称稳定概率。市场趋势分析中，要设法求解得到市场趋势分析对象的稳态概率，并以此做市场趋势分析。在马尔科夫分析法的基本模型中，当X：XP时，称X是P的稳定概率，即系统达到稳定状态时的概率向量，也称X是P的固有向量或特征向量，而且它具有唯一性。
