В предыдущем параграфе мы убедились, что зная размеченный граф состояний системы, можно сразу написать алгебраические уравне­ния для предельных вероятностей состояний. Таким образом, если две непрерывные цепи Маркова имеют одинаковые графы состояний и раз­личаются только значениями интенсивностей λ ij , то нет надобности находить предельные вероятности состояний для каждого из графов в от­дельности: достаточно составить и решить в буквенном виде уравнения для одного из них, а затем подставить вместо λ ij , соответствующие зна­чения. Для многих часто встречающихся форм графов линейные урав­нения легко решаются в буквенном виде.

Рис. 29

В данном параграфе мы познакомимся с одной очень типичной схемой непрерывных марковских цепей – так называемой «схемой гибели и размножения».

Марковская непрерывная цепь называется «процессом гибели и размножения», если ее граф состояний имеет вид, представленный на рис.29, т. е. все состояния можно вытянуть в одну цепочку, в кото­рой каждое из средних состояний (S 2 , ..., S n –1) связано прямой и об­ратной связью с каждым из соседних состояний, а крайние состояния (S 1 , S n) – только с одним соседним состоянием.

Пример 1. Техническое устройство состоит из трех одинаковых узлов; каждый из них может выходить из строя (отказывать); отказавший узел немедленно начинает восстанавливаться. Состояния систе­мы нумеруем по числу неисправных узлов:

S 0 – все три узла исправны;

S 1 – один узел отказал (восстанавливается), два исправны;

S 2 – два узла восстанавливаются, один исправен;

S 3 – все три узла восстанавливаются.

Граф состояний показан на рис.30. Из графа видно, что про­цесс, протекающий в системе, представляет собой процесс «гибели и размножения».

Рис. 30

Схема гибели и размножения очень часто встречается в самых раз­нообразных практических задачах; поэтому имеет смысл заранее рас­смотреть эту схему в общем виде и решить соответствующую систему алгебраических уравнений с тем, чтобы в дальнейшем, встречаясь с кон­кретными процессами, протекающими по такой схеме, не решать зада­чу каждый раз заново, а пользоваться уже готовым решением.

Итак, рассмотрим случайный процесс гибели и размножения с гра­фом состояний, представленным на рис.31

Рис. 31

Напишем алгебраические уравнения для вероятностей состояний. Для первого состояния S 1 имеем:

λ 12 p 1 = λ 21 p 2 (7.1)

Для второго состояния S 2 суммы членов, соответствующих входя­щим и выходящим стрелкам, равны:

λ 23 p 2 + λ 21 p 2 = λ 32 p 3 + λ 12 p 1

Но, в силу (7.1), можно сократить справа и слева равные друг дру­гу члены и; получим:

λ 23 p 2 = λ 32 p 3

λ 34 p 3 = λ 43 p 4

. . . . . . . . .

Одним словом, для схемы гибели и размножения члены, соответ­ствующие стоящим друг над другом стрелкам, равны между собой:

λ k -1,k p k -1 = λ k,k -1 p k (7.2)

где k принимает все значения от 2 до n.

Итак, предельные вероятности состояний р 1 , р 2 , ..., р n в любой схеме гибели и размножения удовлетворяют уравнениям:

λ 12 p 1 = λ 21 p 2

λ 23 p 2 = λ 32 p 3

λ 34 p 3 = λ 43 p 4

. . . . . . . . . . . (7.3)

λ k -1,k p k -1 = λ k,k -1 p k

. . . . . . . . . . .

λ n -1, n p n -1 = λ n , n -1 p n

и нормировочному условию:

р 1 + р 2 + ... + р n = l (7.4)

Будем решать эту систему следующим образом: из первого урав­нения (7.3) выразим р 2:

Из второго, с учетом (7.5), получим:

(7.6)

Из третьего, с учетом (7.6):

(7.7)

Эта формула справедлива для любого k от 2 до n .

Обратим внимание на ее структуру. В числителе стоит произведе­ние всех плотностей вероятности перехода (интенсивностей) λ ij , стоя­щих у стрелок, направленных слева направо, с начала и вплоть до той, которая идет в состояние Sk ; в знаменателе – произве­дение всех интенсивностей λ ij , стоящих у стрелок, идущих справа налево, опять-таки, с начала и вплоть до стрелки, исходящей из состояния S k . При k =n в числителе будет стоять произведение интен­сивностей λ ij , стоящих у всех стрелок, идущих слева направо, а в знаменателе – у всех стрелок, идущих справа налево

Итак, все вероятности р 1 , р 2 , ..., р n выражены через одну из их: p 1. Подставим эти выражения в нормировочное условие: р 1 + р 2 + ... + р n = l Получим:

Остальные вероятности выражаются через p 1:

(7.9)

Таким образом, задача «гибели и размножения» решена в общем виде: найдены предельные вероятности состояний.

Пример 2. Найти предельные вероятности состояний для процесса гибели и размножения, граф которого показан на рис. 32.

Рис. 32

Решение. По формулам (7.8) и (7.9) имеем:

Пример 3. Прибор состоит из трех узлов; поток отказов – простейший, среднее время безотказной работы каждого узла равно . Отказавший узел сра­зу же начинает ремонтироваться; среднее время ремонта (восстановления) узла равно ; закон распределения этого времени показательный (поток восста­новлений простейший). Найти среднюю производительность прибора, если при трех работающих узлах она равна 100%, при двух – 50%, а при одном и менее – прибор вообще не работает.

Решение. Перечень состояний системы и граф состояний уже приводились в примере 1 данного параграфа. Разметим этот граф, т. е. проставим у каждой стрелки соответствующую интенсивность λ ij (см. рис. 33.).

Рис. 33.

Так как поток отказов каждого узла – простейший, то промежуток вре­мени между отказами в этом потоке распределен по показательному закону с па­раметром , где –среднее время безотказной работы узла.

По стрелкам вправо систему переводят отказы. Если система на­ходится в состоянии S 0 , то работают три узла; каждый из них подвергается по­току отказов с интенсивностью ; значит, поток отказов, действующий на всю систему, в три раза более интенсивен: = 0,5 и

Средняя производительность прибора в установившемся режиме:

Номинала.

Происхождение термина «схема гибели и размножения» ведет начало от биоло­гических задач, где подобной схемой описывается процесс изменения числен­ности популяции

класс систем, которые меняют свои состояния в случайные моменты времени . Как и в предыдущем случае, в этих системах рассматривается процесс с дискретными состояниями . Например, переход объекта от исправного состояния к неисправному, соотношение сил сторон в ходе боя и т. п. Оценка эффективности таких систем определяется с помощью вероятностей каждого состояния на любой момент времени , .

Чтобы определить вероятности состояния системы для любого момента времени необходимо воспользоваться математическими моделями марковских процессов с непрерывным временем (непрерывных марковских процессов).

При моделировании состояния систем с непрерывными марковскими процессами мы уже не можем воспользоваться переходными вероятностями , так как вероятность "перескока" системы из одного состояния в другое точно в момент времени равна нулю (как вероятность любого отдельного значения непрерывной случайной величины).

Поэтому вместо переходных вероятностей вводятся в рассмотрение плотности вероятностей переходов :

где - вероятность того, что система, находившаяся в момент времени в состоянии за время перейдет в состояние .

С точностью до бесконечно малых второго порядка из приведенной формулы можно представить:

Непрерывный марковский процесс называется однородным ,если плотности вероятностей переходов не зависят от времени (от момента начала промежутка ). В противном случае непрерывный марковский процесс называется неоднородным .

Целью моделирования , как и в случае дискретных процессов, является определение вероятностей состояний системы . Эти вероятности находятся интегрированием системы дифференциальных уравнений Колмогорова.

Сформулируем методику моделирования по схеме непрерывных марковских процессов.

Пример 2.2 . Составить систему дифференциальных уравнений Колмогорова для нахождения вероятностей состояний системы, размеченный граф состояний которой представлен на рис. 2.3 .

Рис. 2.3.

Решение

Очевидно, .

Поэтому любое из первых трех уравнений можно исключить, как линейно зависимое.

Для решения уравнений Колмогорова необходимо задать начальные условия. Для рассмотренного примера 2.2, можно задать такие начальные условия: , .

Однородный марковский процесс с непрерывным временем можно трактовать как процесс смены состояний под влиянием некоторого потока событий. То есть плотность вероятности перехода можно трактовать как интенсивность потока событий, переводящих систему из -го состояния в -е. Такими потоками событий являются отказы техники, вызовы на телефонной станции, рождение и т. п.

При исследовании сложных объектов всегда интересует: возможен ли в исследуемой системе установившейся (стационарный) режим? То есть, как ведет себя система при ? Существуют ли предельные значения ? Как правило, именно эти предельные значения интересуют исследователя.

Ответ на данный вопрос дает теорема Маркова.

Если для однородного дискретного марковского процесса с конечным или счетным числом состояний все , то предельные значения существуют и их значения не зависят от выбранного начального состояния системы.

Применительно к непрерывным марковским процессам теорема Маркова трактуется так: если процесс однородный и из каждого состояния возможен переход за конечное время в любое другое состояние и число состояний счетно или конечно, то предельные значения существуют и их значения не зависят от выбранного начального состояния.

Особенностью модели является наличие прямой и обратной связей с каждым соседним состоянием для всех средних состояний; первое и последнее (крайние) состояния связаны только с одним "соседом" (с последующим и предыдущим состояниями соответственно).

Название модели - "гибель и размножение" - связано с представлением, что стрелки вправо означают переход к состояниям, связанным с ростом номера состояния ("рождение"), а стрелки влево - с убыванием номера состояний ("гибель").

Очевидно, стационарное состояние в этом процессе существует. Составлять уравнения Колмогорова нет необходимости, так как структура регулярна, необходимые формулы приводятся в справочниках, а также в рекомендованной литературе.

Рис. 2.6.

Интенсивности потоков отказов;

Интенсивности потоков восстановлений.

Пусть среднее время безотказной работы каждого компьютера , а среднее время восстановления одного компьютера .

Тогда интенсивность отказов одного компьютера будет равна , а интенсивность восстановления одного компьютера - .

В состоянии работают оба компьютера, следовательно:

В состоянии работает один компьютер , значит:

В состоянии восстанавливается один компьютер , тогда:

В состоянии восстанавливаются оба компьютера:

Используем зависимости (2.2). Вероятность состояния, когда обе машины исправны:

Вероятность второго состояния (работает один компьютер ):

Аналогично вычисляется и . Хотя найти можно и так:

Пример 2.4 . В полосе объединения работают передатчики противника. Подразделение операторов-связистов армейской контрразведки ведет поиск передатчиков по их радиоизлучениям. Каждый оператор, обнаружив передатчик противника, следит за его частотой, при этом новым поиском не занимается. В процессе слежения частота может быть потеряна, после чего оператор снова осуществляет поиск .

Разработать математическую модель для определения эффективности службы подразделения операторов. Под эффективностью понимается среднее число обнаруженных передатчиков за установленный промежуток времени.

Решение

Будем считать, что наши операторы и радисты противника обладают высокой квалификацией, хорошо натренированы. Следовательно, можно принять, что интенсивности обнаружения частот передатчиков противника и потерь слежения - постоянны. Обнаружение частоты и ее потеря зависят только от того, сколько запеленговано передатчиков в настоящий момент и не зависят от того, когда произошло это пеленгование. Следовательно, процесс обнаружения и потерь слежения за частотами можно считать непрерывным однородным марковским процессом.

Исследуемое свойство этой системы пеленгации: загруженность операторов, что, очевидно, совпадает с числом обнаруженных частот.

Введем обозначения:

Количество операторов;

Количество передатчиков противника, полагаем ;

Среднее число операторов, ведущих слежение ;

Среднее число запеленгованных передатчиков;

Интенсивность пеленгации передатчика противника одним оператором;

Интенсивность потока потерь слежения оператором;

Текущая численность запеленгованных передатчиков .

В системе пеленгации возможны следующие состояния:

Запеленгованных передатчиков нет, поиск ведут операторов, вероятность состояния ;

§ 1. ОБЩИЕ ПРОЦЕССЫ ЧИСТОГО РОЖДЕНИЯ (РАЗМНОЖЕНИЯ) И ПУАССОНОВСКИЕ ПРОЦЕССЫ

В предыдущих главах были введены основные понятия и рассмотрены методы анализа цепей Маркова с дискретным временем. В этой главе дается краткое обсуждение некоторых важных примеров марковских процессов с дискретным множеством состояний и непрерывным временем.

Точнее, здесь мы будем иметь дело с семейством случайных величин принимающих неотрицательные целочисленные значения. Мы ограничимся случаем, когда марковский процесс со стационарными переходными вероятностями. Таким образом, переходная вероятностная функция при

не зависит от

Обычно при исследовании частных вероятностных моделей физических явлений более естественно описать так называемые инфинитезимальные вероятности, связанные с процессом, а затем вывести из них точное выражение для переходной функции.

В рассматриваемом случае мы будем постулировать вид для малых используя марковское свойство, выведем систему дифференциальных уравнений, которой удовлетворяют при всех являются решением этих уравнений при соответствующих начальных условиях. Напомним, что пуассоновский процесс, введенный в § 2 гл. 1, рассматривался именно таким образом.

Перед тем как перейти к общему процессу чистого рождения, напомним кратко аксиомы, характеризующие пуассоновский процесс.

А. Постулаты пуассоновского процесса

Пуассоновский процесс был рассмотрен в § 2 гл. 1, где было показано, что его можно определить с помощью нескольких простых постулатов. Для того чтобы определить более общие процессы подобного рода, укажем на некоторые свойства, которыми обладает пуассоновский процесс. Пуассоновский процесс - это

марковский процесс, принимающий неотрицательные целочисленные значения и обладающий следующими свойствами:

Свойство (1) можно записать еще так.

Имея размеченный граф состояний, можно написать уравнения Колмогорова для вероятностей состояний, а также написать и решить алгебраические уравнения для финальных вероятностей. Для некоторых случаев удается последние уравнения решить заранее, в буквенном виде. В частности, это удается сделать, если граф состояний системы представляет собой так называемую «схему гибели и размножения».

Граф состояний для схемы гибели и размножения имеет вид, показанный на рисунке 19.1.

л01 л12 л23 лk-1,k лk,k-1 лn-1,n

л10 л21 л32 лk,k-1 лk+1,k лn,n-1

Рисунок 19.1

Особенность этого графа в том, что все состояния системы можно вытянуть в одну цепочку, в которой каждое из средних состояний (S1, S2, ..., Sn-1) связано прямой и обратной стрелкой с каждым из соседних состояний -- правым и левым, а крайние состояния (S0, Sn) -- только с одним соседним состоянием. Термин «схема гибели и размножения» ведет начало от биологических задач, где подобной схемой описывается изменение численности популяции.

Схема гибели и размножения очень часто встречается в разных задачах практики, в частности -- в теории массового обслуживания. Найдем для нее финальные вероятности состояний.

Предположим, что все потоки событий, переводящие систему по стрелкам графа,-- простейшие.

Пользуясь графом рисунка 19.1, составим и решим алгебраические уравнения для финальных вероятностей состояний.

Для первого состояния S0 имеем:

01p0=10p1. (19.1)

Для второго состояния S1:

(12 + 10)p1 = 01p0 + 21P2.

В силу (19.1) последнее равенство приводится к виду

23Р2 = 32p3

k -1,kpk-1=k,k-1pk,

где k принимает все значения от 0 до n. Итак, финальные вероятности р0, p1,..., pn удовлетворяют уравнениям

…………………. (19.2)

k-1,kpk-1=k,k-1pk

………………….

n-1,npn-1=n,n-1pn

кроме того, надо учесть нормировочное условие

p 0 +p1+p2+ ... +рn =1. (19.3)

Решим эту систему уравнений. Из первого уравнения (19.2) выразим р1 через р0:

p 1 = (01/10)p0. (19.4)

Из второго, с учетом (19.4), получим:

p 2=(12/21)p1=(1201)/(2110)p0; (19.5)

из третьего, с учетом (19.5),

p3=(231201)/(322110)p0 (19.6)

и вообще, для любого k (от 1 до n):

pk=(k-1,k... 1201)/(k,k-1... 2110)p0 (19.7)

Обратим внимание на формулу (19.7). В числителе стоит произведение всех интенсивностей, стоящих у стрелок, ведущих слева направо (с начала и до данного состояния Sk,), а в знаменателе -- произведение всех интенсивностей, стоящих у стрелок, ведущих справа налево (с начала и до Sk).

Таким образом, все вероятности состояний р0, р1, ..., рn выражены через одну из них (р0). Подставим эти выражения в нормировочное условие (19.3). Получим, вынося за скобку p0:

отсюда получим выражение для р0:

Все остальные вероятности выражены через р0 (см. формулы (19.4) - (19.7)). Коэффициенты при р0 в каждой из них представляют собой последовательные члены ряда, стоящего после единицы в формуле (19.8). Значит, вычисляя р0, мы уже нашли все эти коэффициенты.

Полученные формулы применяются при решении простейших задач теории массового обслуживания.

5. Процессы размножения и гибели.

Процессы размножения и гибели являются частным случаем марковских случайных процессов, которые тем не менее находят весьма широкое применение при исследовании дискретных систем со стохастическим характером функционирования. Процесс размножения и гибели представляет собой марковский случайный процесс, в котором переходы из состояния E i допустимы только в соседние состояния E i- 1 , E i и E i+1 . Процесс размножения и гибели является адекватной моделью для описания изменений, происходящих в объеме биологических популяций. Следуя этой модели, говорят, что процесс находится в состоянии E i , если объем популяции равен i членам. При это переход из состояния E i в состояние E i +1 соответствует рождению, а переход из E i в E i-1 - гибели, предполагая, что объем популяции может изменяться не более чем на единицу; это означает, что для процессов размножения и гибели не допускаются многократные одновременные рождения и/или гибели.

Дискретные процессы размножения и гибели менее интересны, чем непрерывные, поэтому в дальнейшем они подробно не рассматриваются и основное внимание уделяется непрерывным процессам. Однако следует отметить, что для дискретных процессов проходят почти параллельные выкладки. Переход процесса размножения и гибели из состояния E i обратно в состояние E i представляет непосредственный интерес только для дискретных цепей Маркова; в непрерывном случае интенсивность, с которой процесс возвращается в текущее состояние, равна бесконечности, и эта бесконечность была исключена согласно определению (13).

В случае процесса размножения и гибели с дискретным временем вероятности переходов между состояниями

Здесь d i - вероятность того, что на следующем шаге (в терминах биологической популяции) произойдет одна гибель, уменьшающая объем популяции до i -1 при условии, что на данном шаге объем популяции равен i . Аналогично, b i - вероятность рождения на следующем шаге, приводящего к увеличению объема популяции до i +1; 1-d i -b i представляет собой вероятность того, что ни одно из этих событий не произойдет и на следующем шаге объем популяции не изменится. Допускаются только эти три возможности. Ясно, что d 0 =0, так как гибель не может наступить, если некому погибать.

Однако в противовес интуиции допускается, что b 0 >0, что соответствует возможности рождения, когда в популяции нет ни одного члена. Хотя это можно расценивать как спонтанное рождение или божественное творение, но в теории дискретных систем такая модель представляет собой вполне осмысленное допущение. А именно, модель такова: популяция представляет собой поток требований, находящихся в системе, гибель означает уход требования из системы, а рождение соответствует поступлению в систему нового требования. Ясно, что в такой модели вполне возможно поступление нового требования (рождение) в свободную систему. Матрица вероятностей переходов для общего процесса размножения и гибели имеет следующий вид:

Если цепь Маркова является конечной, то последняя строка матрицы записывается в виде ; это соответствует тому, что не допускаются никакие размножения после того, как популяция достигает максимального объема n .

Матрица T содержит нулевые члены только на главной и двух ближайших к ней диагоналях. Из-за такого частного вида матрицы T естественно ожидать, что анализ процесса размножения и гибели не должен вызывать трудностей.

Далее будем рассматривать только непрерывные процессы размножения и гибели, в которых переходы из состояния E i возможны только в соседние состояния E i-1 (гибель) и E i+1 (рождение). Обозначим через l i интенсивность размножения; она описывает скорость, с которой происходит размножение в популяции объема i . Аналогично, через m i обозначим интенсивность гибели, задающую скорость с которой происходит гибель в популяции объема i . Заметим, что введенные интенсивности размножения и гибели не зависят от времени, а зависят только от состояния E i , следовательно, получаем непрерывную однородную цепь Маркова типа размножения и гибели. Эти специальные обозначения введены потому, что они непосредственно приводят к обозначениям, принятым в теории дискретных систем. В зависимости от ранее введенных обозначений имеем:

l i = q i , i +1 и m i = q i , i -1 .

Требование о допустимости переходов только в ближайшие соседние состояния означает, что исходя из (14), q ii =-(m i + l i ). Таким образом, матрица интенсивностей переходов общего однородного процесса размножения и гибели принимает вид

Заметим, что за исключением главной и соседних с ней снизу и сверху диагоналей все элементы матрицы равны нулю. Соответствующий граф интенсивностей переходов представлен на рис. 4.

Более точное определение непрерывного процесса размножения и гибели состоит в следующем: некоторый процесс представляет собой процесс размножения и гибели, если он является однородной цепью Маркова с множеством состояний {E 0 , E 1 , E 2 , …}, если рождение и гибель являются независимыми событиями (это вытекает непосредственно из марковского свойства) и если выполняют следующие условия:

1) Pr [точно 1 рождение в промежутке времени (t ,t + Δt )| объем популяции равен i ]= ;

2) Pr [точно 1 гибель в промежутке времени (t ,t + Δt )| объем популяции равен i ]= ;

3) Pr [точно 0 рождений в промежутке времени (t ,t + Δt )| объем популяции равен i ]= ;

4) Pr [точно 0 гибелей в промежутке времени (t ,t + Δt )| объем популяции равен i ]= .

Согласно этим предположениям кратные рождения, кратные гибели и одновременные рождения и гибели в течение малого промежутка времени (t , t + Δt ) запрещены в том смысле, что вероятность таких кратких событий имеет порядок о (Δt ).

Вероятность того, что непрерывный процесс размножения и гибели в момент времени t находится в состоянии E i (объем популяции равен i ) определяется напрямую из (16) в виде

Для решения полученной системы дифференциальных уравнений в нестационарном случае, когда вероятности P i (t ), i =0,1,2,…, зависят от времени, необходимо задать распределение начальных вероятностей P i (0), i =0,1,2,…, при t =0. Кроме того, должно удовлетворяться нормировочное условие.

Рис.4. Граф интенсивностей переходов для процесса размножения и гибели.

Рассмотрим теперь простейший процесс чистого размножения, который определяется как процесс, для которого m i = 0 при всех i . Кроме того, для еще большего упрощения задачи предположим, что l i =l для всех i =0,1,2,... . Подставляя эти значения в уравнения (18) получим

Для простоты предположим также, что процесс начинается в нулевой момент при нуле членов, то есть:

Отсюда для P 0 (t ) получаем решение

P 0 (t )=e - l t .

Подставляя это решение в уравнение (19) при i = 1, приходим к уравнению

.

Решение этого дифференциального уравнения, очевидно, имеет вид

P 1 (t )= l te - l t .

.

Это знакомое нам распределение Пуассона. Таким образом, процесс чистого размножения с постоянной интенсивностью l приводит к последовательности рождений, образующей пуассоновский процесс.

Наибольший интерес в практическом плане представляют вероятности состояний процесса размножения и гибели в установившемся режиме. Предполагая, что процесс обладает эргодическим свойством, т.е. существуют пределы перейдем к определению предельных вероятностей P i .

Уравнения для определения вероятностей стационарного режима можно получить непосредственно из (18), учитывая, что dP i (t )/dt = 0 при :

Полученная система уравнений решается с учетом нормировочного условия

Систему уравнений (21) для установившегося режима процесса размножения и гибели можно составить непосредственно по графу интенсивностей переходов на рис.4, применяя принцип равенства потоков вероятностей к отдельным состоянием процесса. Например, если рассмотреть состояние E i в установившемся режиме, то:

интенсивность потока вероятностей в и

интенсивность потока вероятностей из .

В состоянии равновесия эти два потока должны быть равны, и поэтому непосредственно получаем

Но это как раз и есть первое равенство в системе (21). Аналогично можно получить и второе равенство системы. Те же самые рассуждения о сохранении потока, которые были приведены ранее, могут быть применены к потоку вероятностей через любую замкнутую границу. Например, вместо того, чтобы выделять каждое состояние и составлять для него уравнение, можно выбрать последовательность контуров, первый из которых охватывает состояние E 0 , второй - состояние E 0 и E 1 , и т.д., включая каждый раз в новую границу очередное состояние. Тогда для i -го контура (окружающего состояния E 0 , E 1 , ..., E i -1 ) условие сохранения потока вероятностей можно записать в следующем простом виде:

.

Полученная система уравнений эквивалентна выведенной ранее. Для составления последней системы уравнений нужно провести вертикальную линию, разделяющую соседние состояния, и приравнять потоки через образовавшуюся границу.

Решение системы (23) можно найти методом математической индукции.

При i =1 имеем:

при i =2:

при i =3:

и т.д.

Вид полученных равенств показывает, что общее решение системы уравнений (23) имеет вид

или, учитывая, что, по определению, произведение по пустому множеству равно единице

Таким образом, все вероятности P i для установившегося режима выражаются через единственную неизвестную константу P 0 . Равенство (22) дает дополнительное условие, позволяющее определить P 0 . Тогда, суммируя по всем i , для P 0 получим:

Обратимся к вопросу о существовании стационарных вероятностей P i . Для того, чтобы полученные выражения задавали вероятности, обычно накладывается требование, чтобы P 0 > 0. Это, очевидно, налагает ограничение на коэффициенты размножения и гибели в соответствующих уравнениях. По существу требуется, чтобы система иногда опустошалась; это условие стабильности представляется весьма резонным, если обратиться к примерам реальной жизни. Определим следующие две суммы:

Все состояния E i рассматриваемого процесса размножения и гибели будут эргодическими тогда и только тогда, когда S 1 < и S 2 = . Только эргодический случай приводит к установившимся вероятностям P i , i = 0, 1, 2, …, и именно этот случай представляет интерес. Заметим, что условия эргодичности выполняются только тогда, когда, начиная с некоторого i , все члены последовательности {} ограничены единицей, т.е. тогда, когда существует некоторое i 0 (и некоторое С <1) такое, что для всех ii 0 выполняется неравенство: