TERCEIRA QUANTIZAÇÃO PELO SDCTIE GRACELI

TRANS-QUÂNTICA SDCTIE GRACELI, TRANSCENDENTE, RELATIVISTA SDCTIE GRACELI, E TRANS-INDETERMINADA.

FUNDAMENTA-SE EM QUE TODA FORMA DE REALIDADE SE ENCONTRA EM TRANSFORMAÇÕES, INTERAÇÕES, TRANSIÇÕES DE ESTADOS [ESTADOS DE GRACELI], ENERGIAS E FENÔMENOS DENTRO DE UM SISTEMA DE DEZ OU MAIS DIMENSÕES DE GRACELI, E CATEGORIAS DE GRACELI.

FUNÇÃO GERAL GRACELI DA TRANS- INDETERMINALIDADE PELO SDCTIE GRACELI

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS =

TRANSFORMAÇÕES ⇔ INTERAÇÕES  ⇔  TUNELAMENTO ⇔ EMARANHAMENTO ⇔ CONDUTIVIDADE  ⇔ DIFRAÇÕES ⇔ estrutura eletrônica, spin, radioatividade, ABSORÇÕES E EMISSÕES INTERNA ⇔  Δ de temperatura e dinâmicas, transições de estados quântico Δ ENERGIAS,  ⇔   Δ MASSA ,   ⇔ Δ  CAMADAS ORBITAIS ,  ⇔  Δ FENÔMENOS  ,  ⇔  Δ  DINÂMICAS,   ⇔  Δ  VALÊNCIAS,   ⇔  Δ BANDAS,  Δ  entropia e de entalpia,  E OUTROS.  

x

 [EQUAÇÃO DE DIRAC].

 + FUNÇÃO TÉRMICA.

   +    FUNÇÃO DE RADIOATIVIDADE

  ,      +   FUNÇÃO DE TUNELAMENTO QUÂNTICO.

  + ENTROPIA REVERSÍVEL 

+      FUNÇÃO DE CONDUÇÃO ELETROMAGNÉTICA

 ENERGIA DE PLANCK

X

• 
  V [R] [MA] =  Δe,M, Δf, ΔE, Δt, Δi, ΔT, ΔC, ΔE,ΔA, ΔD, ΔM......

  ΤDCG

  X

  Δe, ΔM, Δf, ΔE, Δt, Δi, ΔT, ΔC, ΔE,ΔA, ΔD, ΔM......  =
  x
  

  sistema de dez dimensões de Graceli + 

  DIMENSÕES EXTRAS DO SISTEMA DECADIMENSIONAL E CATEGORIAL GRACELI.[como, spins, posicionamento, afastamento, ESTRUTURA ELETRÔNICA, e outras já relacionadas]..
• 
  
• DIMENSÕES DE FASES DE ESTADOS DE TRANSIÇÕES DE GRACELI.
  

  x

  sistema de transições de estados, e estados  de Graceli, fluxos aleatórios quântico, potencial entrópico e de entalpia. [estados de transições de fases de estados de estruturas, quântico, fenomênico, de energias, e dimensional [sistema de estados de Graceli].

  x

número atômico, estrutura eletrônica, níveis de energia 

[comprimento de onda (λ).

onde c, velocidade da luz, é igual a .]

• TEMPO ESPECÍFICO E FENOMÊNICO DE GRACELI
• x
• X
• T l    T l     E l       Fl         dfG l   

  N l    El                 tf l

  P l    Ml                 tfefel 

  Ta l   Rl

           Ll
           D

Em matemática, uma cadeia de Markov (cadeia de Markov em tempo discreto ou DTMC^[1][2][3]) é um caso particular de processo estocástico com estados discretos (o parâmetro, em geral o tempo, pode ser discreto ou contínuo) com a propriedade de que a distribuição de probabilidade do próximo estado depende apenas do estado atual e não na sequência de eventos que precederam, uma propriedade chamada de Markoviana, chamada assim em homenagem ao matemático Andrei Andreyevich Markov. A definição dessa propriedade, também chamada de memória markoviana, é que os estados anteriores são irrelevantes para a predição dos estados seguintes, desde que o estado atual seja conhecido. Cadeias de Markov têm muitas aplicações como modelos estatísticos de processos do mundo real.

Introdução[editar | editar código-fonte]

A cadeia de Markov é um processo estocástico com a propriedade de Markov.^[4] O termo "cadeia de Markov" refere-se à sequência de variáveis aleatórias, tais um processo move-se através de, com a propriedade de Markov definindo a dependência de série única entre períodos adjacentes (como em uma "cadeia"). Assim, pode ser usado para sistemas que seguem uma cadeia de eventos ligados, onde o que acontece em seguida depende apenas do estado atual do sistema descrevendo.

Na literatura, diferentes tipos de processo de Markov são designados como "cadeia de Markov". Normalmente, o termo é reservado para um processo com um conjunto discreto de vezes, isto é, Cadeia de Markov de Tempo Discreto (DTMC).^[5] Por outro lado, alguns autores utilizam o termo "processo de Markov" para se referir a uma cadeia de Markov de tempo contínuo sem referência explícita.^[6][7]

Enquanto o parâmetro de tempo é geralmente discreto, o espaço de estado de uma cadeia de Markov não tem quaisquer restrições geralmente aceitas: o termo pode referir-se a um processo em um espaço de estado arbitrário.^[8] No entanto, muitas aplicações de Cadeias de Markov empregam conjuntos contáveis finitos ou infinitos (isto é, espaços de estado discretos), que têm uma análise estatística mais simples. Além da hora do índice e os parâmetros de espaço de estado, há muitas outras variações, extensões e generalizações (ver Variações). Para simplificar, a maior parte deste artigo concentra-se no tempo discreto, discreta caso de espaço de estado, salvo indicação em contrário.

As mudanças de estado do sistema são chamadas transições. As probabilidades associadas com várias mudanças de estado são chamados de probabilidades de transição. O processo é caracterizado por um espaço de estado, uma matriz de transição descrevendo as probabilidades de transições de particulares, e um estado inicial (ou a distribuição inicial) através do espaço de estado. Por convenção, assumimos todos os estados e transições possíveis foram incluídos na definição do processo, por isso há sempre um próximo estado, e o processo não termina.

Um processo aleatório de tempo discreto envolve um sistema que é em um determinado estado, em cada passo, com o estado a mudar de forma aleatória entre os passos. Os passos são muitas vezes considerados como momentos no tempo, mas podem igualmente bem se referirem à distância física ou a qualquer outra medida discreta. Formalmente, os passos são os números inteiros ou números naturais, e o processo aleatório é um mapeamento destes para estados. A propriedade de Markov afirma que a distribuição de probabilidade condicional para o sistema no próximo passo (e, de fato, em todas as etapas futuras) depende apenas do estado atual do sistema, e não adicionalmente sobre o estado do sistema em etapas anteriores.

Uma vez que o sistema altera aleatoriamente, é geralmente impossível prever com exatidão o estado de uma cadeia de Markov num dado momento no futuro. No entanto, as propriedades estatísticas do futuro do sistema podem ser previstas. Em muitas aplicações, são elas as importantes.

A famosa cadeia de Markov é o chamado "andar do bêbado", um passeio aleatório na linha número onde, a cada passo, a posição pode mudar por um ou -1 com igual probabilidade. A partir de qualquer posição há duas transições possível, para o seguinte ou anterior inteiro. As probabilidades de transição dependem somente da posição atual, não sobre o modo em que a posição foi alcançada. Por exemplo, as probabilidades de transição de 5-4 e 5-6 são ambos 0,5, e todos os outros a partir de probabilidades de transição 5 é 0. Estas probabilidades são independentes do fato de se o sistema foi anteriormente em 4 ou 6.

Outro exemplo são os hábitos alimentares de uma criatura que só come uvas, queijo ou alface, e cujos hábitos alimentares estão em conformidade com as seguintes regras:

• Ele come apenas uma vez por dia.
• Se ele comeu queijo hoje, amanhã ele vai comer alface ou uvas com igual probabilidade.
• Se ele comeu uvas hoje, amanhã ele vai comer uvas com probabilidade de 1/10, queijo com probabilidade 4/10 e alface com probabilidade 5/10.
• Se ele comeu alface hoje, amanhã ele vai comer uvas com probabilidade de 4/10 ou queijo com probabilidade 6/10. Ele não vai comer alface novamente amanhã.

Os hábitos alimentares desta criatura podem ser modelados com uma cadeia de Markov desde que a escolha em seu amanhã depende unicamente do que comer em seu hoje, e não do que comeu ontem ou em qualquer outro momento do passado. Uma propriedade estatística é de que a percentagem esperada pode ser calculada ao longo de um longo período de tempo, dos dias em que a criatura vai comer uvas.

Uma série de eventos independentes (por exemplo, uma série de arremessos de moedas) satisfaz a definição formal de uma cadeia de Markov. No entanto, a teoria é normalmente aplicada apenas quando a distribuição de probabilidade do próximo passo depende não-trivialmente sobre o estado atual. Existem muitos outros exemplos de cadeias de Markov.

Definição formal[editar | editar código-fonte]

Cadeia de Markov simples.

Uma cadeia de Markov é uma sequência X₁, X₂, X₃, ... de variáveis aleatórias. O escopo destas variáveis, isto é, o conjunto de valores que elas podem assumir, é chamado de espaço de estados, onde X_n denota o estado do processo no tempo n. Se a distribuição de probabilidade condicional de X_n+1 nos estados passados é uma função apenas de X_n, então:

${\displaystyle \Pr(X_{n+1}=x|X_{0},X_{1},X_{2},\ldots ,X_{n})=\Pr(X_{n+1}=x|X_{n}),\,}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

onde x é algum estado do processo. A identidade acima define a propriedade de Markov.

Cadeias de Markov são frequentemente descritas por uma sequência de grafos dirigidos, onde as arestas do gráfico n são rotulados por as probabilidades de ir de um estado no tempo n para outros estados no tempo n+1, ${\displaystyle \Pr(X_{n+1}=x\mid X_{n}=x_{n})}$. A mesma informação é representada pela matriz de transição de momento n para o tempo n+1. No entanto, as cadeias Markov são assumidas frequentemente como sendo tempo-homogêneas (ver variações abaixo), nesse caso o gráfico e a matriz são independentes de n e, portanto, não são apresentados como sequências.

Estas descrições realçam a estrutura da cadeia de Markov que é independente da distribuição inicial ${\displaystyle \Pr(X_{1}=x_{1})}$. Quando o tempo é homogêneo, a cadeia pode ser interpretada como uma máquina de estado atribuindo uma probabilidade de pular de cada vértice ou estado para outro adjacente. A probabilidade ${\displaystyle \Pr(X_{n}=x|X_{1}=x_{1})}$ de Estado da máquina pode ser analisado como o comportamento estatístico da máquina com um elemento ${\displaystyle x_{1}}$ do espaço de estados como entrada, ou como o comportamento da máquina com a distribuição inicial ${\displaystyle \Pr(X_{1}=y)=[x_{1}=y]}$ de estados como entrada, onde ${\displaystyle [P]}$ é o suporte de Iverson.

O fato de que algumas sequências de estados pode ter zero probabilidade de ocorrência corresponde a um gráfico com vários componentes ligados, onde se omitem arestas que levaria a uma probabilidade de transição zero. Por exemplo, se a tem uma probabilidade diferente de zero de ir para b, mas a e x estão em diferentes componentes ligados do gráfico, então, ${\displaystyle \Pr(X_{n+1}=b|X_{n}=a)}$ é definida, enquanto ${\displaystyle \Pr(X_{n+1}=b|X_{1}=x,...,X_{n}=a)}$ não é.

Uma maneira simples de visualizar um tipo específico de cadeia de Markov é através de uma máquina de estados finitos. Se você está no estado y no tempo n, então a probabilidade de que você se mova para o estado x no tempo n + 1 não depende de n, e somente depende do estado atual y em que você está. Assim em qualquer tempo n, uma cadeia de Markov finita pode ser caracterizada por uma matriz de probabilidades cujo elemento (x, y) é dado por ${\displaystyle \Pr(X_{n+1}=x|X_{n}=y)\,}$ e é independente do tempo n. Estes tipos de cadeia de Markov finitas e discretas podem também ser descritas por meio de um grafo dirigido (orientado), onde cada aresta é rotulada com as probabilidades de transição de um estado a outro sendo estes estados representados como os nós conectados pelas arestas.

Caracterização de um processo de Markov[editar | editar código-fonte]

Ver artigo principal: Processo estocástico

Um processo de Markov é um processo estocástico em que a probabilidade de o sistema estar no estado i no período (n+1) depende somente do estado em que o sistema está no período n. Ou seja, para os processos de Markov, só interessa o estado imediato.^[9][10] Os principais elementos de um processo de Markov são dois^[9] :

• a probabilidade xⁱ(n) de ocorrer o estado i no n-ésimo período de tempo, ou, alternativamente, a fração da população em questão que está no estado i no n-ésimo período de tempo
• as probabilidades de transição m_ij, que representam as probabilidades de o processo estar no estado i no tempo (n+1) dado que está no estado j no tempo n. Estas probabilidades de transição são normalmente agrupadas numa matriz, que denominamos matriz de transição, matriz estocástica ou ainda matriz de Markov.

Variações[editar | editar código-fonte]

• Processos de Markov de tempo contínuo têm um índice contínuo.
• Cadeias de Markov de tempo homogêneo (ou cadeias de Markov estacionárias) são processos em que

${\displaystyle \Pr(X_{n+1}=x\mid X_{n}=y)=\Pr(X_{n}=x\mid X_{n-1}=y)\,}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

para todo n. A probabilidade da transição de n é independente.

• Uma cadeia de Markov de ordem m (ou uma cadeia de Markov com memória m), onde m é finito, é um processo que satisfaça

${\displaystyle {\begin{aligned}{}&\Pr(X_{n}=x_{n}\mid X_{n-1}=x_{n-1},X_{n-2}=x_{n-2},\dots ,X_{1}=x_{1})\\=&\Pr(X_{n}=x_{n}\mid X_{n-1}=x_{n-1},X_{n-2}=x_{n-2},\dots ,X_{n-m}=x_{n-m}){\text{ for }}n>m\end{aligned}}}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

Em outras palavras, o estado futuro depende dos passados m estados. É possível construir uma cadeia (Y_n) de (X_n), que tem a propriedade de Markov "clássico", tendo como espaço de estado do m-tuplas ordenadas de valores X, ou seja, Y_n = (X_n, X_n−1, ..., X_n−m+1).

Cadeias de Markov em espaços de estados discretos[editar | editar código-fonte]

Ver artigo principal: Matriz de transição

Um espaço de estados é representável por uma matriz. Chamada de matriz de transição, com o (i, j)-ésimo elemento igual a

${\displaystyle P_{ij}=\Pr(X_{n+1}=j\mid X_{n}=i)\,}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

Para um espaço de estados discretos, as integrações na probabilidade de transição de k passos são somatórios, e podem ser calculados como a k-ésima potência da matriz de transição. Isto é, se P é a matriz de transição para um passo, então P^k é a matriz de transição para a transição de k passos.

A distribuição estacionária ${\displaystyle \pi }$ é o vetor que satisfaz a equação:

${\displaystyle \pi ^{T}\mathbf {P} =\pi ^{T},}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

onde ${\displaystyle \pi ^{T}}$ é o vetor transposto de ${\displaystyle \pi }$. Em outras palavras, a distribuição estacionária ${\displaystyle \pi }$ é o autovetor (vetor próprio) esquerdo da matriz de transição, associado com o autovalor (valor próprio) 1.

Como consequência, nem a existência nem a unicidade de distribuição estacionária é garantida para uma matriz de transição qualquer P. Contudo, se P é irredutível e aperiódica, então existe uma distribuição estacionária ${\displaystyle \pi }$. Além disso, P^k converge para uma matriz na qual cada linha é a (transposta da) distribuição estacionária ${\displaystyle \pi ^{T}}$, que é dada por:

${\displaystyle \lim _{k\rightarrow \infty }\mathbf {P} ^{k}=\mathbf {1} \pi ^{T},}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

onde ${\displaystyle \mathbf {1} }$ é o vetor coluna com todas as entradas iguais a 1. Isto é estabelecido pelo Teorema de Perron-Frobenius.

Exemplo de cadeia de Markov.

Isto significa que se nós simularmos ou observamos uma caminhada aleatória com matriz de transição P, então a probabilidade de longo prazo de que o indivíduo que faz a caminhada esteja em um certo estado é independente do estado em que essa caminhada começou, e é definida pela distribuição estacionária. A caminhada aleatória "ignora" o passado. Em suma, cadeias de Markov são o passo seguinte depois dos processos sem memória (isto é, uma sequência de variáveis aleatórias independentes distribuídas uniformemente).

Uma matriz de transição que é positiva (isto é, todo o elemento da matriz é positivo) é irredutível e aperiódica. Uma matriz é uma matriz estocástica se e somente se é uma matriz de probabilidades de transição de uma cadeia de Markov.

Um caso especial de probabilidade de transição independente do passado é conhecido como o esquema de Bernoulli. Um esquema de Bernoulli com somente dois estados possíveis é conhecido como um processo de Bernoulli.

Exemplo[editar | editar código-fonte]

Um diagrama de estado para um exemplo simples é mostrado na figura à direita, usando para imaginar as transições de estado de um grafo dirigido. Os estados representam se um mercado de ações hipotético está exibindo um mercado em alta, mercado em baixa, ou tendência do mercado estagnado durante uma determinada semana. De acordo com a figura, uma semana de alta é seguido por uma outra semana de alta 90% do tempo, de uma semana de baixa 7,5% do tempo, e uma semana estagnada outro 2,5% do tempo. Etiquetas de espaço de estado {1 = alta, 2 = baixa, 3 = estagnado} a matriz de transição para este exemplo é

${\displaystyle P={\begin{bmatrix}0.9&0.075&0.025\\0.15&0.8&0.05\\0.25&0.25&0.5\end{bmatrix}}.}$

A distribuição por estados pode ser escrito como um vetor de linha estocástico x com x^(n + 1) = x⁽ⁿ⁾P. Assim, se no tempo n o sistema está no estado x⁽ⁿ⁾, e em seguida, três períodos de tempo mais tarde, no tempo n + 3 a distribuição é

${\displaystyle {\begin{aligned}x^{(n+3)}&=x^{(n+2)}P=\left(x^{(n+1)}P\right)P\\\\&=x^{(n+1)}P^{2}=\left(x^{(n)}P\right)P^{2}\\&=x^{(n)}P^{3}\\\end{aligned}}}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

Em particular, se num momento n o sistema está no estado 2 (baixa), então no tempo n + 3, a distribuição é

${\displaystyle {\begin{aligned}x^{(n+3)}&={\begin{bmatrix}0&1&0\end{bmatrix}}{\begin{bmatrix}0.9&0.075&0.025\\0.15&0.8&0.05\\0.25&0.25&0.5\end{bmatrix}}^{3}\\&={\begin{bmatrix}0&1&0\end{bmatrix}}{\begin{bmatrix}0.7745&0.17875&0.04675\\0.3575&0.56825&0.07425\\0.4675&0.37125&0.16125\\\end{bmatrix}}\\&={\begin{bmatrix}0.3575&0.56825&0.07425\end{bmatrix}}.\end{aligned}}}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

Utilizando a matriz de transição, é possível calcular, por exemplo, a fracção de longo prazo de semanas durante o qual o mercado é estagnado, ou o número médio de semanas que será necessário para passar de uma estagnada a um mercado de touro. Usando as probabilidades de transição, as probabilidades de estado estacionário indicam que 62,5% das semanas estará em um mercado de touro, 31,25% de semanas estará em um mercado de urso e 6,25% de semanas será estagnada, uma vez que:

${\displaystyle \lim _{N\to \infty }\,P^{N}={\begin{bmatrix}0.625&0.3125&0.0625\\0.625&0.3125&0.0625\\0.625&0.3125&0.0625\\\end{bmatrix}}}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

Um desenvolvimento aprofundado e muitos exemplos podem ser encontradas na monografia sobre-linha Meyn & Tweedie 2005.^[11]

Imagine um país onde só seja possível estar em três classes sociais, denominadas estados: A, B ou C. Em cada período de tempo, a probabilidade de uma pessoa mudar de um estado para outro é constante no tempo e só depende dos estados. Este processo é chamado de cadeia de Markov.^[12]

Uma máquina de estado finito pode ser utilizada como uma representação de uma cadeia de Markov. Assumindo uma sequência de sinais de entrada independentes e identicamente distribuídos (por exemplo, símbolos de um alfabeto binário escolhido por lançamentos de moeda), se a máquina está no estado y no tempo n, então a probabilidade de que ele se move para declarar x no tempo n + 1 depende apenas do estado atual.

Evolução transitória[editar | editar código-fonte]

A probabilidade de ir do estado i para o estado j em intervalos de tempo n é

${\displaystyle p_{ij}^{(n)}=\Pr(X_{n}=j\mid X_{0}=i)\,}$

e a transição de um único passo é

${\displaystyle p_{ij}=\Pr(X_{1}=j\mid X_{0}=i).\,}$

Para uma cadeia de Markov de tempo homogêneo:

${\displaystyle p_{ij}^{(n)}=\Pr(X_{k+n}=j\mid X_{k}=i)\,}$

e

${\displaystyle p_{ij}=\Pr(X_{k+1}=j\mid X_{k}=i).\,}$

As probabilidades de transição de n-etapa satisfazem a equação Chapman-Kolmogorov, que para qualquer k tal que 0 < k < n,

${\displaystyle p_{ij}^{(n)}=\sum _{r\in S}p_{ir}^{(k)}p_{rj}^{(n-k)}}$

onde S é o espaço de estados da cadeia de Markov.

A distribuição marginal Pr(X_n = x) é a distribuição mais estados no tempo n. A distribuição inicial é Pr(X₀ = x). A evolução do processo através de um passo de tempo é descrita pela

${\displaystyle \Pr(X_{n}=j)=\sum _{r\in S}p_{rj}\Pr(X_{n-1}=r)=\sum _{r\in S}p_{rj}^{(n)}\Pr(X_{0}=r).}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

Nota: O expoente (n) é um índice e não um expoente.

Propriedades[editar | editar código-fonte]

Redutibilidade[editar | editar código-fonte]

Um estado j é dito ser acessível a partir de um estado i (escrito i → j) se um sistema começou no estado i tem uma probabilidade diferente de zero de transição para o estado j em algum ponto. Formalmente, o estado j é acessível a partir do estado i, se existe um inteiro n_ij ≥ 0 tal que

${\displaystyle \Pr(X_{n_{ij}}=j\mid X_{0}=i)=p_{ij}^{(n_{ij})}>0.\,}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

Este inteiro é permitido para ser diferente para cada par de estados, portanto, os subscritos em n_ij. Permitindo que n seja zero significa que cada estado é definida para ser acessível a partir de si mesmo.

Um estado i é dito para se comunicar com o estado j (escrito i ↔ j) se ambos i → j e j → i. Um conjunto de estados C é uma classe de comunicação se cada par de estados em C comunica com o outro. Uma classe comunicação está fechado se a probabilidade de deixar a classe é zero, ou seja, que se i estiver em C, mas j não, então j não é acessível a partir de i. Pode-se mostrar que a comunicação neste sentido é uma relação de equivalência e, assim, que as classes comunicantes são as classes de equivalência dessa relação.

O conjunto de classes comunicantes forma, um gráfico acíclico dirigido por herdar as setas do espaço estado original. Uma classe comunicação está fechado, se e somente se ele não tem setas de saída neste gráfico.

Um estado i é dito ser essencial ou final se para todo j tal que i → j também é verdade que j → i. Um estado i é não-essencial se não é essencial.^[13] Um estado é definitiva se e somente se sua classe comunicação está fechado.

A cadeia de Markov é dito ser irredutível se o seu espaço de estado é uma classe única comunicação; em outras palavras, se é possível chegar a qualquer estado de qualquer estado.

Periodicidade[editar | editar código-fonte]

Um estado i tem período k se houver retorno ao estado i deve ocorrer em múltiplos de passos de tempo k. Formalmente, o período de um estado é definido como

${\displaystyle k=mdc\{n>0:\Pr(X_{n}=i\mid X_{0}=i)>0\}}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

(Onde "mdc" é o maior divisor comum), desde que este conjunto não é vazio. Caso contrário, o período não está definido. Note-se que mesmo que um estado tem período k, pode não ser possível atingir o estado em k passos. Por exemplo, suponha que é possível voltar ao estado em {6, 8, 10, 12, ...} intervalos de tempo; k seria 2, embora 2 não aparece nesta lista.

Se k = 1, então o estado é dito ser aperiódico: retorno ao estado i pode ocorrer em períodos irregulares. Pode ser demonstrado que um estado i é aperiódico se e somente se existe n tal que para todo n' ≥ n,

${\displaystyle \Pr(X_{n'}=i\mid X_{0}=i)>0.}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

Caso contrário (k > 1), o estado é dito ser periódico com período k. A cadeia de Markov é aperiódica se cada estado é aperiódico. Uma cadeia de Markov irredutível só precisa de um estado aperiódico para implicar que todos os estados são aperiódicos.

Cada estado de um grafo bipartido tem um período regular.

Transitoriedade[editar | editar código-fonte]

Um estado i é dito transitório, se, uma vez que começamos no estado i, existe uma probabilidade não nula de que nunca voltará a i. Formalmente, seja a variável aleatória T_i o primeiro tempo de retorno ao estado i (o "hitting time"):

${\displaystyle T_{i}=\inf\{n\geq 1:X_{n}=i\mid X_{0}=i\}.}$

O número

${\displaystyle f_{ii}^{(n)}=\Pr(T_{i}=n)}$

é a probabilidade de voltar para o estado i pela primeira vez após n passos. Portanto, o estado i é transitório se

${\displaystyle \Pr(T_{i}<{\infty })=\sum _{n=1}^{\infty }f_{ii}^{(n)}<1.}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

O estado i é recorrente (ou persistente) se não é transitório. Estados recorrentes tem garantidos (com probabilidade 1) um hitting time finito. Recorrência e transitoriedade são propriedades de classe, isto é, elas são válidas ou não de forma igual para todos os membros de uma classe comunicante.

Tempo médio de recorrência[editar | editar código-fonte]

Mesmo que o hitting time seja finito com probabilidade 1, ele não precisa de ter uma expectativa finita. O tempo de recorrência média no estado i é o tempo de retorno esperado M_i:

${\displaystyle M_{i}=E[T_{i}]=\sum _{n=1}^{\infty }n\cdot f_{ii}^{(n)}.\,}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

Estado i é recorrente positivo (ou persistente não-nulo) se M_i é finito; caso contrário, o estado i é recorrente nulo (ou persistente nulo).

Número esperado de visitas[editar | editar código-fonte]

Pode ser mostrado que um estado i é recorrente se e somente se o número esperado de visitas a este estado é infinito, isto é,

${\displaystyle \sum _{n=0}^{\infty }p_{ii}^{(n)}=\infty .}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

Absorvendo estados[editar | editar código-fonte]

Um estado i é chamado de absorção, se é impossível sair deste estado. Portanto, o estado i está absorvendo se e somente se

${\displaystyle p_{ii}=1{\text{ and }}p_{ij}=0{\text{ for }}i\not =j.}$

Se cada estado pode chegar a um estado de absorção, então a cadeia de Markov é uma cadeia de Markov absorvente.

Ergodicidade[editar | editar código-fonte]

Um estado i é dito ser ergódico se ele tem uma recorrência aperiódica e positiva. Em outras palavras, um estado i é ergódico se for recorrente, tem um período de 1 e tem tempo de recorrência média finita. Se todos os estados em uma cadeia de Markov irredutível são ergódicos, então a cadeia é ergódica.

É possível mostrar que uma cadeia de Marvok irredutível de estado finito é ergódica se ela tem um estado aperiódico. A cadeia de Markov tem a propriedade ergódica se há um número finito N tal que qualquer estado pode ser alcançado a partir de qualquer outro estado em exatamente N passos. No caso de uma matriz de transição totalmente ligada, em que todas as transições têm uma probabilidade não nula, esta condição é preenchida com N = 1. A cadeia de Markov com mais de um estado e apenas uma transição de sair por estado não pode ser ergódica.

Análise de estado estacionário e distribuições limitantes[editar | editar código-fonte]

Se a cadeia de Markov é uma cadeia de Markov de tempo homogénea, de modo que o processo é descrito por uma única matriz que independe do tempo ${\displaystyle p_{ij}}$, então o vetor ${\displaystyle {\boldsymbol {\pi }}}$ é chamado de distribuição estacionária (ou medida invariante) se ${\displaystyle \forall j\in S}$ satisfaz

${\displaystyle 0\leq \pi _{j}\leq 1.}$

${\displaystyle \sum _{j\in S}\pi _{j}=1.}$

${\displaystyle \pi _{j}=\sum _{i\in S}\pi _{i}p_{ij}.}$

Uma cadeia irredutível tem uma distribuição estacionária se e somente se todos os seus estados são recorrentes positivos.^[14] Nesse caso, π é único e está relacionada com o tempo de retorno esperado:

${\displaystyle \pi _{j}={\frac {C}{M_{j}}}\,,}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

onde ${\displaystyle C}$ é a constante de normalização. Além disso, se a cadeia positiva recorrente é irredutível e aperiódica, diz-se que tem uma distribuição limitante; para qualquer i e j,

${\displaystyle \lim _{n\rightarrow \infty }p_{ij}^{(n)}={\frac {C}{M_{j}}}.}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

Note-se que não existe qualquer hipótese da distribuição inicial; a cadeia converge para a distribuição estacionária independentemente de onde ele começa. Tal ${\displaystyle \pi }$ é chamado de distribuição em equilíbrio da cadeia.

Se uma cadeia tem mais de uma classe comunicante fechada, suas distribuições estacionárias não serão únicas (considere qualquer classe comunicante fechada ${\displaystyle C_{i}}$ na cadeia, cada uma terá a sua própria distribuição estacionária única ${\displaystyle \pi _{i}}$. Estendendo essas distribuições à cadeia global, definindo todos os valores a zero fora da classe comunicante, resulta que o conjunto de medidas invariantes da cadeia original é o conjunto de todas as combinações convexas da {${\displaystyle \pi _{i}}$). No entanto, se um estado j é aperiódico, então

${\displaystyle \lim _{n\rightarrow \infty }p_{jj}^{(n)}={\frac {C}{M_{j}}}}$

e para qualquer outro estado i, sendo f_ij a probabilidade de que a cadeia visite o estado j, se ele começa no i,

${\displaystyle \lim _{n\rightarrow \infty }p_{ij}^{(n)}=C{\frac {f_{ij}}{M_{j}}}.}$

Se um estado i é periódico com período k > 1, então o limite

${\displaystyle \lim _{n\rightarrow \infty }p_{ii}^{(n)}}$

não existe, embora o limite

${\displaystyle \lim _{n\rightarrow \infty }p_{ii}^{(kn+r)}}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

exista para cada inteiro r.

Análise de estado estacionário e na cadeia de Markov de tempo não homogêneo[editar | editar código-fonte]

A cadeia de Markov não precisa ser necessariamente o tempo homogêneo para ter uma distribuição de equilíbrio. Se há uma distribuição de probabilidade sobre estados ${\displaystyle {\boldsymbol {\pi }}}$ tal que

${\displaystyle \pi _{j}=\sum _{i\in S}\pi _{i}\,\Pr(X_{n+1}=j\mid X_{n}=i)}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

para cada estado j e cada tempo n, então ${\displaystyle {\boldsymbol {\pi }}}$ é uma distribuição em equilíbrio da cadeia de Markov. Tal situação pode ocorrer em métodos de cadeia de Markov de Monte Carlo (MCMC) em situações em que um número de diferentes matrizes de transição são usadas, porque cada uma é eficaz para um tipo particular de mistura, mas cada matriz respeita uma distribuição de equilíbrio partilhada.

Espaço de estado finito[editar | editar código-fonte]

Se o espaço de estados é finito, a distribuição de probabilidade de transição pode ser representada por uma matriz, chamada de matriz de transição, com o (i, j)-ésimo elemento de P igual

${\displaystyle p_{ij}=\Pr(X_{n+1}=j\mid X_{n}=i).\,}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

Uma vez que cada fileira de P soma um e todos os elementos são não-negativos, P é uma matriz estocástica direita.

Relação distribuição estacionária de vetores próprios e simplices[editar | editar código-fonte]

Um π distribuição estacionária é um vetor (linha), cujos elementos são não-negativos e somam 1, mantém-se inalterado pela operação da matriz de transição P sobre ele e por isso é definida pela

${\displaystyle \pi \mathbf {P} =\pi .\,}$

Ao comparar essa definição com a de um vetor próprio vemos que os dois conceitos estão relacionados e que

${\displaystyle \pi ={\frac {e}{\sum _{i}{e_{i}}}}}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

é um múltiplo normalizado (${\displaystyle \textstyle \sum _{i}\pi _{i}=1}$) de um vetor próprio esquerdo e' da matriz de transição P^T com um valor próprio de 1. Se houver mais do que uma unidade de vetor próprio em seguida, a soma ponderada dos correspondentes estados estacionários é também um estado estacionário. Mas para uma cadeia de Markov é geralmente mais interessados em um estado estacionário que é o limite das distribuições de sequência para alguma distribuição inicial.

Os valores de distribuição estacionária ${\displaystyle \textstyle \pi _{i}}$ estão associadas com o espaço de estado de P e seus vetores próprios têm as suas proporções relativas preservadas. Uma vez que os componentes do π são positivos e a restrição de que a sua soma é a unidade pode ser reescrita como ${\displaystyle \textstyle \sum _{i}1\cdot \pi _{i}=1}$ vemos que o produto do ponto de π com um vetor cujos componentes são todos 1 é unitário e que π encontra-se em um simplex.

Cadeia de Markov de tempo homogêneo com um espaço de estado finito[editar | editar código-fonte]

Se a cadeia de Markov é vez homogênea, em seguida, a matriz de transição P é o mesmo depois de cada passo, de modo que a probabilidade de transição do passo k pode ser calculado como a potência k da matriz de transição P^k.

Se a cadeia de Markov é irredutível e aperiódica, então há uma distribuição estacionária única π. Além disso, neste caso P^k converge para uma matriz de posto um em que cada linha é o π distribuição estacionária, que é,

${\displaystyle \lim _{k\rightarrow \infty }\mathbf {P} ^{k}=\mathbf {1} \pi }$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

onde 1 é o vetor coluna com todas as entradas iguais a 1. Isto é afirmado pelo teorema de Perron-Frobenius. Se, por qualquer meio, ${\displaystyle \scriptstyle \lim _{k\to \infty }\mathbf {P} ^{k}}$ é encontrado, então a distribuição estacionária da cadeia de Markov em questão pode ser facilmente determinada para qualquer distribuição, tal como será explicado abaixo.

Para algumas matrizes estocásticas P, o limite ${\displaystyle \scriptstyle \lim \limits _{k\to \infty }\mathbf {P} ^{k}}$ não existe enquanto a distribuição é estacionária, como mostra este exemplo:

${\displaystyle \mathbf {P} ={\begin{pmatrix}0&1\\1&0\end{pmatrix}}\qquad \mathbf {P} ^{2k}=I\qquad \mathbf {P} ^{2k+1}=\mathbf {P} }$

${\displaystyle {\begin{pmatrix}{\frac {1}{2}}&{\frac {1}{2}}\end{pmatrix}}{\begin{pmatrix}0&1\\1&0\end{pmatrix}}={\begin{pmatrix}{\frac {1}{2}}&{\frac {1}{2}}\end{pmatrix}}}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

Observe que este exemplo ilustra uma cadeia de Markov periódica.

Uma vez que existem um número de diferentes casos especiais a considerar, o processo de encontrar este limite se existir pode ser uma tarefa longa. No entanto, existem muitas técnicas que podem ajudar a encontrar esse limite. Seja P uma matriz n×n, e definindo ${\displaystyle \scriptstyle \mathbf {Q} =\lim _{k\to \infty }\mathbf {P} ^{k}.}$

É verdade que sempre

${\displaystyle \mathbf {QP} =\mathbf {Q} .}$

Subtraindo 'Q de ambos os lados e fatorando, tem os resultados

${\displaystyle \mathbf {Q} (\mathbf {P} -\mathbf {I} _{n})=\mathbf {0} _{n,n},}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

Onde I_n é a matriz identidade de tamanho n e 0_n,n é a matriz zero de tamanho n×n. Multiplicando juntos matrizes estocásticos sempre produz uma outra matriz estocástica, então Q deve ser uma matriz estocástica (ver definição acima). Por vezes é suficiente para utilizar a equação da matriz acima e o facto de que Q é uma matriz estocástica de resolver por Q, incluindo o facto de que a soma de cada uma das linhas em P é 1, existem n+1 equações para determinar n incógnitas, por isso é computacionalmente mais fácil se, por um lado uma seleciona uma linha em Q e substituir cada um dos seus elementos por uma, e por outro um substituir o elemento correspondente (a uma na mesma coluna) no vetor de 0, e ao lado esquerdo - multi este último vetor pelo inverso da antiga matriz transformada para encontrar Q.

Aqui é um método para fazê-lo: em primeiro lugar, definir a função f(A) para retornar a matriz A com a sua coluna mais à direita substituído com toda a 1s. Se [f(P − I_n)]⁻¹ existe, em seguida,

${\displaystyle \mathbf {Q} =f(\mathbf {0} _{n,n})[f(\mathbf {P} -\mathbf {I} _{n})]^{-1}.}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

A equação matriz original é equivalente a um sistema de n × n equações lineares em n × n variáveis. E existem n equações lineares mais a partir do facto de que Q é uma matriz estocástica direito cujo cada linha somas para 1. Por isso, necessita de qualquer N × n equações lineares independentes das equações (N × N + N) para resolver os n × n variáveis. Neste exemplo, os n equações de "Q multiplicado pela coluna mais à direita de (P-Na)" foram substituídos por aqueles N estocásticos.

Uma coisa a notar é que, se P tem um elemento P_i,i na sua diagonal principal, que é igual a 1 e a linha om ou coluna i-ésima é preenchida com zeros, então essa linha ou coluna permanecerá inalterada em todos os poderes subsequentes P^k . Assim, a i-ésima linha ou coluna de Q terá os 1 e os 0 de nas mesmas posições como em P.

Velocidade de convergência para a distribuição estacionária[editar | editar código-fonte]

Como afirmado anteriormente, a partir da equação ${\displaystyle \mathbf {\pi } =\mathbf {\pi P} }$, (se existir) o estacionária (ou steady state) π distribuição é um autovetor esquerdo da linha da matriz estocástica P. Em seguida, assumindo que P é diagonalizável ou equivalentemente que P tem n autovetores linearmente independentes, a velocidade de convergência é elaborado da seguinte forma. (Para não diagonalizável, ou seja, matrizes defeituosos, pode-se começar com a forma normal Jordan de P e prosseguir com o conjunto um pouco mais envolvidos de argumentos de uma maneira similar.^[15])

Seja U a matriz de autovetores (cada um normalizado para ter uma norma L2 igual a 1), onde cada coluna é um vetor próprio esquerdo do P e deixe Σ a matriz diagonal de valores próprios à esquerda de P, ou seja, Σ = diag(λ₁,λ₂,λ₃,...,λ_n). Então, por eigendecomposição

${\displaystyle \mathbf {P} =\mathbf {U\Sigma U} ^{-1}.}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

Deixe os valores próprios ser enumerados tal que 1 = |λ₁| > |λ₂| ≥ |λ₃| ≥ ... ≥ |λ_n|. Uma vez que P é uma matriz estocástica de linha, o seu maior valor próprio esquerda é 1. Se houver uma distribuição estacionário original, em seguida, o valor próprio maior e o vetor próprio correspondente é também único (porque não existe nenhum outro π que resolve a equação distribuição estacionária acima). Seja u_i a coluna i da matriz U, ou seja, u_i é o autovetor esquerdo de P correspondente a λ_i. Também sendo x ser um vetor linha comprimento n que representa uma distribuição de probabilidade válida; já que os autovetores u_i se distribuem por Rⁿ, podemos escrever

${\displaystyle \mathbf {x} ^{T}=\sum _{i=1}^{n}a_{i}\mathbf {u} _{i}}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

por algum conjunto de a_i∈ℝ. Se começa-se a multiplicação de P com x da esquerda e continuar esta operação com os resultados, no final, obtém-se o π distribuição estacionária. Em outras palavras, π = u_i ← xPPP...P = xP^k como k vai para infinito. Que significa

${\displaystyle \mathbf {\pi } ^{(k)}=\mathbf {x} (\mathbf {U\Sigma U} ^{-1})(\mathbf {U\Sigma U} ^{-1})\cdots (\mathbf {U\Sigma U} ^{-1})}$

${\displaystyle =\mathbf {xU\Sigma } ^{k}\mathbf {U} ^{-1}}$

desde UU⁻¹ = I, a matriz de identidade e de energia de uma matriz diagonal também é uma matriz diagonal em que cada entrada é feita para que o poder.

${\displaystyle =(a_{1}\mathbf {u} _{1}^{T}+a_{2}\mathbf {u} _{2}^{T}+\cdots +a_{n}\mathbf {u} _{n}^{T})\mathbf {U\Sigma } ^{k}\mathbf {U} ^{-1},}$

${\displaystyle =a_{1}\lambda _{1}^{k}\mathbf {u} _{1}+a_{2}\lambda _{2}^{k}\mathbf {u} _{2}+\cdots +a_{n}\lambda _{n}^{k}\mathbf {u} _{n},}$

uma vez que os vetores próprios são ortonormais. Então^[16]

${\displaystyle =\lambda _{1}^{k}\left\{a_{1}\mathbf {u} _{1}+a_{2}\left({\frac {\lambda _{2}}{\lambda _{1}}}\right)^{k}\mathbf {u} _{2}+a_{3}\left({\frac {\lambda _{3}}{\lambda _{1}}}\right)^{k}\mathbf {u} _{3}+\cdots +a_{n}\left({\frac {\lambda _{n}}{\lambda _{1}}}\right)^{k}\mathbf {u} _{n}\right\}.}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

Desde π = u₁, π^(k) abordagens para π como k vai para infinito com uma velocidade na ordem de λ₂/λ₁ exponencialmente. Isto acontece porque |λ₂| ≥ |λ₃| ≥ ... ≥ |λ_n|, portanto, λ₂/λ₁ é o termo dominante. Um ruído aleatório na distribuição de estado π também pode acelerar essa convergência com a distribuição estacionária.^[17]

Cadeia de Markov reversíveis[editar | editar código-fonte]

Uma cadeia de Markov é dita ser reversível se existe uma distribuição de probabilidade π sobre os seus estados tais que

${\displaystyle \pi _{i}\Pr(X_{n+1}=j\mid X_{n}=i)=\pi _{j}\Pr(X_{n+1}=i\mid X_{n}=j)}$

para todos os tempos n e todos os estados i e j. Esta condição é conhecida como condição de balanço detalhado (alguns livros chamam a equação de balanço local).

Considerando-se um tempo arbitrário n fixo e usando a abreviação

${\displaystyle p_{ij}=\Pr(X_{n+1}=j\mid X_{n}=i)\,,}$

a equação do balanço detalhado pode ser escrita de forma mais compacta como

${\displaystyle \pi _{i}p_{ij}=\pi _{j}p_{ji}\,.}$

O tempo de um só passo a partir de n a n+1 pode ser pensado como tendo cada pessoa i que inicialmente π_i dólares e pagar cada pessoa j uma fração p_ij dela. A condição de balanço detalhado afirma que a cada pagamento, a outra pessoa paga exatamente a mesma quantidade de dinheiro de volta.^[18] É evidente que a quantidade total de dinheiro π que cada pessoa tem permanece o mesmo após o passo de tempo, uma vez que cada dólar gasto é equilibrado por um dólar correspondente recebida. Isto pode ser demonstrado mais formalmente pela igualdade

${\displaystyle \sum _{i}\pi _{i}p_{ij}=\sum _{i}\pi _{j}p_{ji}=\pi _{j}\sum _{i}p_{ji}=\pi _{j}\,,}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

que afirma essencialmente que a quantidade total de dinheiro pessoa j recebe (incluindo de si mesmo) durante o passo de tempo é igual à quantidade de dinheiro que ele paga a outros, o que equivale a todo o dinheiro que tinha inicialmente porque foi assumido que todo o dinheiro é gasto (isto é p_ji soma 1 sobre i). A suposição é uma questão técnica, porque o dinheiro não é realmente usada é simplesmente pensado como sendo pagos de pessoa j para si mesmo (isto é p_jj não é necessariamente zero).

Como n foi arbitrário, este raciocínio é válido para qualquer n, e, portanto, para cadeias de Markov reversíveis π é sempre uma distribuição no estado estacionário de Pr(X_n+1 = j | X_n = i) para cada n.

Se a cadeia de Markov começa na distribuição em estado estacionário, isto é, se Pr(X₀ = i) = π_i, então Pr(X_n = i) = π_i para todo o n e a equação de equilíbrio detalhada pode ser escrito como

${\displaystyle \Pr(X_{n}=i,X_{n+1}=j)=\Pr(X_{n+1}=i,X_{n}=j)\,.}$

X

FUNÇÃO FUNDAMENTAL E GERAL DO SISTEMA [SDCTIE GRACELI] DE  INTERAÇÕES, TRANSFORMAÇÕES EM CADEIAS, DECADIMENSIONAL E CATEGORIAL GRACELI.  E DE ESTADOS TRANSICIONAIS 

Os lados esquerdo e direito desta última equação são idênticas, exceto para uma reversão dos índices de tempo n e n + 1. critério de Kolmogorov dá uma condição necessária e suficiente para uma cadeia de Markov para ser reversível directamente a partir das probabilidades de transição de matriz. O critério exige que os produtos de probabilidades em torno de cada circuito fechado são os mesmos em ambas as direcções em torno do circuito.

Cadeias de Markov reversíveis são comuns na cadeia de Markov Monte Carlo (MCMC) se aproxima, porque a equação do balanço detalhado para a distribuição π desejada implica necessariamente que a cadeia de Markov foi construído de modo que π é uma distribuição em estado estacionário. Mesmo com correntes de Markov de tempo não homogénea, em que múltiplas matrizes de transição são usados, se cada matriz de transição exibe equilíbrio detalhada com a distribuição π desejada, isto implica necessariamente que π é uma distribuição em estado estacionário da cadeia de Markov.