A. Rantai Markov Waktu Kontinu
Misalkan terdapat suatu proses stokastik waktu kontinu {X(t)} dengan waktu t ≥ 0, dan ruang keadaannya S berupa himpunan bilangan bulat non-negatif. Proses {X(t)} disebut sebagai rantai Markov waktu kontinu apabila untuk setiap s, t ≥ 0, serta untuk setiap state i dan j, berlaku (Supandi, 2010):
Artinya, peluang sistem berada pada state j setelah waktu t + s hanya dipengaruhi oleh keadaan sistem saat ini, yaitu i state pada waktu s, dan tidak dipengaruhi oleh keadaan-keadaan sebelumnya. Dengan kata lain, proses di masa depan hanya bergantung pada keadaan sekarang, bukan pada riwayat proses sebelumnya.
Suatu proses stokastik {X(t)} dengan parameter waktu kontinu disebut sebagai rantai Markov waktu kontinu apabila proses tersebut memenuhi sifat Markov.
Sifat Markov menyatakan bahwa peluang keadaan sistem pada waktu yang akan datang, yaitu t + s, hanya dipengaruhi oleh keadaan sistem pada saat ini, yaitu pada waktu s, dan tidak dipengaruhi oleh keadaan-keadaan sebelumnya (Supandi, 2010). Dengan demikian, kondisi masa lalu tidak memengaruhi peluang keadaan di masa mendatang. Selain itu, jika peluang:
P(X(t + s) = j X(s) = i)
Tidak bergantung pada nilai s, maka rantai Markov waktu kontinu tersebut dikatakan memiliki probabilitas transisi yang homogen atau stasioner.
Rantai Markov waktu kontinu dikatakan homogen apabila untuk setiap s ≤ t dan setiap keadaan i, j ∈ S, probabilitas transisi hanya bergantung pada selang waktu transisi dan tidak dipengaruhi oleh waktu awal proses (Supandi, 2010). Hal tersebut dinyatakan dengan:
Artinya, peluang sistem berpindah dari keadaan i ke keadaan j hanya ditentukan oleh lamanya selang waktu (t – s), bukan oleh kapan proses dimulai.
Pada rantai Markov, perpindahan keadaan dapat terjadi pada setiap satuan waktu. Misalnya, suatu proses berada pada keadaan i pada waktu 
. Setelah selang waktu s, proses tersebut masih tetap berada pada keadaan yang sama sehingga belum terjadi transisi.
Menurut (Supandi, 2010), Selanjutnya dapat ditanyakan peluang bahwa proses masih tetap berada pada keadaan i hingga waktu berikutnya, yaitu pada selang [s, s+t] . Berdasarkan sifat Markov, peluang proses tetap berada pada keadaan pada selang waktu tersebut hanya bergantung pada keadaan proses saat waktu s, dan tidak dipengaruhi oleh keadaan-keadaan sebelumnya.
Diasumsikan bahwa 
kontinu pada t = 0, sehingga probabilitas transisi stasioner didefinisikan sebagai:
Artinya, ketika selang waktu mendekati nol, sistem cenderung tetap berada pada keadaan semula. Peluang bernilai 1 jika state awal dan state akhir sama, sedangkan peluang bernilai 0 jika terjadi perpindahan ke state lain.
Rantai Markov waktu kontinu merupakan proses stokastik {X(t)} yang memenuhi sifat Markov. Pada setiap state i, proses tersebut memiliki karakteristik sebagai berikut.
- Lama waktu sistem berada pada state i sebelum berpindah ke state lain mengikuti distribusi eksponensial dengan parameter tertentu, yang disebut laju transisi (rate). Parameter tersebut dinyatakan dengan:
untuk:
Hal ini menunjukkan bahwa waktu tunggu perpindahan state bersifat acak dan mengikuti distribusi eksponensial.
- Jika proses berpindah ke state dengan probabilitas , maka jumlah seluruh probabilitas transisi dari state memenuhi:
dengan:
untuk setiap state i. Artinya, total peluang perpindahan dari suatu state ke seluruh state tujuan bernilai satu. Pada state i, apabila nilai laju transisi:
maka state tersebut disebut sebagai keadaan sesaat (instantaneous state), yaitu keadaan yang hanya ditempati dalam waktu sangat singkat.
Sebaliknya, dalam kondisi tertentu terdapat keadaan yang disebut absorbing state, yaitu keadaan yang tidak dapat ditinggalkan lagi setelah proses memasuki state tersebut (Supandi, 2010). Dengan kata lain, jika sistem sudah berada pada state itu, maka sistem akan tetap berada di sana selamanya.
B. Limit dan Keseimbangan
Misalkan {X(t), t∈ [0,∞)} merupakan suatu proses Markov. Selain itu, terdapat rantai Markov lain 
yang disebut embedded Markov chain, yaitu rantai Markov yang dibentuk dari proses {X(t)} tanpa memperhatikan selang waktu antar transisinya (Supandi, 2010). Dengan kata lain, yang diperhatikan hanya perpindahan state yang terjadi. Diasumsikan bahwa rantai 
bersifat irreducible dan positive recurrent. Menurut (Supandi, 2010), berdasarkan asumsi tersebut, distribusi limit :
Ada dan nilainya tidak bergantung pada state awal i. Hal ini berarti bahwa setelah waktu berjalan sangat lama, peluang sistem berada pada state j akan mencapai kondisi stabil.
Untuk memperoleh nilai limit tersebut digunakan persamaan diferensial Kolmogorov Forward:
Ketika t →∞, limit dapat diterapkan pada persamaan di atas sehingga diperoleh:
Karena 
merupakan fungsi terbatas, maka turunannya akan konvergen ke nol. Oleh sebab itu diperoleh:
Atau dapat dituliskan menjadi:
Persamaan tersebut menunjukkan bahwa laju proses keluar dari state j sama dengan laju proses masuk ke state j.
Selain itu, distribusi peluang harus memenuhi:
Yang berarti jumlah seluruh probabilitas state adalah satu.
Dengan demikian, distribusi limit dari proses {X(t)} adalah 
. Nilai menunjukkan peluang jangka panjang bahwa sistem berada pada state j. Distribusi ini disebut distribusi stasioner karena nilainya tidak berubah terhadap waktu setelah sistem mencapai keadaan stabil (Supandi, 2010). Jika didefinisikan:
Sebagai laju proses meninggalkan state j, dan
Sebagai laju proses memasuki state , maka berlaku:
m = s
Kondisi tersebut dikenal sebagai persamaan keseimbangan (balance equation), karena jumlah laju yang keluar dari suatu state sama dengan jumlah laju yang masuk ke state tersebut.
C. Occupancy Time
Misal {X(t), t ≥ 0} merupakan RMWK pada ruang-state S yang mempunyai matriks generator Q. Jika 
menyatakan lamanya waktu pada proses RMWK yang dilakukan dalam state j atas (0,t). Maka 
untuk semua j ∈ S. Dapat didefinisikan sebagai berikut (Sudarno, 2015):
Persamaan tersebut menjelaskan bahwa 
merupakan nilai harapan lama waktu proses berada pada state j, dengan kondisi awal proses dimulai dari state i. Konsep ini digunakan untuk mengetahui seberapa lama suatu sistem berada pada keadaan tertentu selama interval waktu pengamatan (Sudarno, 2015). disebut waktu okupansi dari state i ke-state j selama waktu t. Hal ini, jika diperluas ditulis dalam bentuk matriks menjadi matriks waktu okupansi, yaitu
Bentuk matriks ini mempermudah perhitungan seluruh waktu okupansi antar state dalam suatu sistem Markov secara bersamaan (Sudarno, 2015). Berikut ini disajikan teorema tentang cara membuat matriks waktu okupansi. Matriks waktu okupansi M(t) dapat dicari dengan cara:
Persamaan tersebut menunjukkan bahwa matriks waktu okupansi diperoleh dari integral matriks peluang transisi terhadap waktu. Dengan kata lain, waktu okupansi merupakan akumulasi peluang proses berada pada suatu state selama interval waktu tertentu (Sudarno, 2015), dimana P(u) merupakan matriks peluang transisi fungsi dari u.
Matriks peluang transisi P(u) berisi peluang perpindahan sistem dari satu state ke state lainnya pada waktu u. Matriks ini menjadi dasar utama dalam analisis rantai Markov waktu kontinu (Sudarno, 2015).
Bukti:
Ambil j ∈ S. Misal Z(u) = 1, jika X(u) = j, dan nol untuk yang lainnya. Maka
Pada langkah ini, fungsi indikator Z(u) digunakan untuk menunjukkan apakah proses berada pada state j pada waktu u. Jika berada pada state j, maka nilainya 1, dan jika tidak maka bernilai 0 (Sudarno, 2015).
Sehingga berdasarkan persamaan sebelumnya, diperoleh
Langkah ini menunjukkan bahwa nilai harapan waktu okupansi diperoleh dari nilai harapan integral fungsi indikator selama interval waktu pengamatan.
Integral dipindahkan keluar dari operator ekspektasi menggunakan sifat linearitas ekspektasi dan integral (Sudarno, 2015).
Karena Z(u) merupakan fungsi indikator, maka nilai harapannya sama dengan peluang proses berada pada state j pada waktu u.
Notasi 
menyatakan peluang transisi dari state ke-state j pada waktu u. Dengan menumpuk elemen ini ke dalam bentuk matriks didapat
Hasil akhir ini menunjukkan bahwa matriks waktu okupansi dapat diperoleh langsung dari integral matriks peluang transisi terhadap waktu.
D. Persamaan Diferensial Kolmogorov
Menurut (Supandi, 2010), Persamaan diferensial Kolmogorov digunakan untuk menjelaskan perubahan peluang perpindahan suatu proses Markov kontinu dari satu keadaan ke keadaan lainnya terhadap waktu. Misalkan suatu sistem berada pada keadaan i saat waktu awal, maka peluang bahwa sistem berada pada keadaan j pada waktu t dinyatakan sebagai berikut
Untuk proses Poisson dengan kondisi i ≤ j, peluang transisi dari keadaan i menuju keadaan j dalam selang waktu t dapat dituliskan sebagai
Menurut (Supandi, 2010), berlaku teorema berikut:
Teorema 1
Peluang perubahan keadaan dalam interval waktu yang sangat kecil memenuhi sifat berikut.
- Peluang sistem tetap berada pada keadaan yang sama memenuhi
- Untuk perpindahan dari keadaanke keadaan jjj dengan i ≠ j,
Teorema 2
Misalkan {X(t), t ∈ [0,∞), t ∈ R} adalah rantai Markov waktu kontinu dengan ruang keadaan S, laju transisi 
, serta peluang transisi 
. Maka untuk setiap berlaku hubungan
Berdasarkan persamaan di atas, apabila terdapat nilai s dan t sehingga 
dan 
, maka keadaan i dan j dikatakan saling berkomunikasi (Supandi, 2010). Jika seluruh keadaan dalam rantai Markov saling berkomunikasi, maka rantai tersebut disebut irreducible.
Pada rantai Markov waktu kontinu yang irreducible berlaku distribusi stasioner:
Sifat distribusi stasioner dibedakan menjadi,
Jika
maka rantai bersifat null recurrent atau transient.
Jika
maka rantai bersifat positive r ecurrent.
Untuk menentukan apakah suatu rantai Markov irreducible memiliki distribusi stasioner, dapat digunakan persamaan:
dengan 
merupakan peluang transisi satu langkah.
Dalam analisis rantai Markov kontinu, peluang transisi sering diperoleh melalui persamaan diferensial Kolmogorov yang diturunkan dari persamaan Chapman-Kolmogorov. Persamaan ini menjelaskan perubahan distribusi peluang terhadap waktu, baik untuk waktu sebelumnya maupun waktu yang akan datang (Supandi, 2010).
Persamaan Backward Kolmogorov dinyatakan sebagai:
Sedangkan persamaan Forward Kolmogorov diberikan oleh:
Bentuk diferensialnya dapat dituliskan sebagai berikut. Persamaan Backward Kolmogorov:
Persamaan Forward Kolmogorov:
E. Matriks Stokastik dan Teorema Perron-Frobenius
Matriks stokastik merupakan matriks yang setiap elemennya berada pada interval 0 sampai 1, dengan jumlah setiap elemen pada masing-masing baris sama dengan 1 (Massalesse, 2018). Oleh karena itu, matriks peluang transisi pada rantai Markov termasuk ke dalam matriks stokastik. Selain itu, karena seluruh elemennya bernilai nol atau positif, matriks tersebut juga tergolong sebagai matriks tak negatif.
Berbagai sifat penting dari matriks stokastik berasal dari karakteristik matriks tak negatif. Beberapa konsep yang berkaitan dengan pembahasan ini meliputi Teorema Perron-Frobenius, nilai eigen Perron-Frobenius, serta vektor eigen kiri dan vektor eigen kanan.
Misalkan 
adalah matriks persegi dan λ merupakan nilai eigen dari matriks A. Menurut (Massalesse, 2018), Suatu vektor tak nol x yang memenuhi hubungan
Ax = λx
disebut sebagai vektor eigen kanan. Sementara itu, jika memenuhi
xA = λx
maka vektor tersebut dinamakan vektor eigen kiri dari matriks A.
Teorema Perron-Frobenius menyatakan bahwa apabila A adalah matriks tak negatif dan reguler, yaitu seluruh elemennya tidak negatif dan terdapat suatu bilangan bulat positif k sehingga
Matriks A memiliki suatu nilai eigen positif yang disebut nilai eigen Perron-Frobenius, dilambangkan dengan 
, beserta vektor eigen kiri dan kanan yang bernilai positif.
Untuk setiap nilai eigen lain λ dari matriks A, jika 
, maka berlaku 
Nilai eigen Perron-Frobenius bersifat simple atau memiliki multiplisitas satu.
Akibat dari teorema tersebut, jika A merupakan matriks stokastik, maka matriks tersebut memiliki vektor eigen tak negatif yang berkorespondensi dengan nilai eigen λ = 1.
F. Penerapan Nilai Eigen Perron-Frobenius dalam Menentukan Distribusi Peluang
Pada matriks stokastik, jumlah elemen setiap baris bernilai satu. Oleh sebab itu, vektor
menjadi vektor eigen kanan yang berkaitan dengan nilai eigen λ = 1
Nilai eigen tersebut memiliki multiplisitas satu dan sekaligus merupakan nilai eigen Perron-Frobenius. Jika rantai Markov bersifat irreducible, aperiodik, dan reguler, maka semua nilai eigen lainnya memenuhi
sehingga diperoleh
Apabila matriks transisi dapat didiagonalisasi, maka terdapat matriks invertibel 
sehingga
dengan ∧ adalah matriks diagonal yang memuat nilai-nilai eigen dari P. Untuk pangkat ke-m, diperoleh
Karena seluruh nilai eigen selain 1 memiliki nilai mutlak kurang dari 1, maka ketika m→∞, maka 
, i = 2, 3, …, n. Seluruh elemen diagonal selain elemen pertama akan menuju nol. Akibatnya,
Karena matriks diagonal tersebut hanya memiliki satu elemen bernilai 1 pada baris pertama kolom pertama, sedangkan elemen lainnya bernilai nol, dan kolom pertama matriks C merupakan vector
maka hasil perkalian matriks tersebut dapat dituliskan sebagai hasil kali antara kolom pertama matriks C dan baris pertama matriks 
. Oleh sebab itu diperoleh
Baris pertama matriks , yaitu
merupakan vektor eigen kiri dari matriks transisi P yang bersesuaian dengan nilai eigen 1. Jika dibandingkan dengan distribusi limit rantai Markov, maka diperoleh
Hal ini menunjukkan bahwa distribusi stasioner rantai Markov diperoleh dari normalisasi vektor eigen kiri yang berkaitan dengan nilai eigen Perron-Frobenius
Dengan demikian, dapat disimpulkan bahwa normalisasi vektor eigen kiri dari matriks transisi P yang bersesuaian dengan nilai eigen Perron-Frobenius merupakan distribusi limit sekaligus distribusi stasioner dari rantai Markov. Sebagai ilustrasi, diberikan matriks transisi
Nilai eigen dari matriks tersebut adalah
Vektor eigen kiri yang berkaitan dengan nilai eigen Perron-Frobenius adalah
Sehingga distribusi stasioner rantai Markov diperoleh sebagai
Distribusi tersebut menunjukkan proporsi peluang jangka panjang sistem berada pada masing-masing keadaan setelah proses berlangsung dalam waktu yang lama.
REFERENSI
Massalesse, J. (2018). Penerapan Teorema Perron-Frobenius pada penentuan distribusi stasioner rantai Markov. Jurnal Matematika, Statistika dan Komputasi, 13(1), 85–90. https://doi.org/10.20956/jmsk.v13i1.3488
Sudarno. (2015). Menentukan matriks peluang transisi untuk waktu okupansi menggunakan transformasi Laplace dan matriks eksponensial. Media Statistika, 8(2), 81–91. https://doi.org/10.14710/medstat.8.2.81-91
Supandi. (2010). Proses kelahiran dan kematian sebagai rantai Markov waktu kontinu. AKSIOMA, 1(2). https://garuda.kemdiktisaintek.go.id/documents/detail/603089