56
задачи, эта матрица может содержать различные показатели, такие как
прибыль, затраты, энергопотребление и т.д. Цель состоит в том, чтобы
определить наиболее оптимальную стратегию, которая приведет к
максимальным доходам или минимальным расходам.
Таким образом, процесс функционирования системы, описываемой
управляемыми марковскими цепями, выглядит следующим образом: если
система находится в определенном состоянии и принимается решение, она
получает доход. Состояние системы в следующий момент времени
определяется возможностью перехода из одного состояния в другое в
зависимости от принятого решения. При этом доход за n шагов является
случайной величиной, зависящей от начального состояния и качества
принимаемых решений. Качество оценивается через средний суммарный
доход или средний доход за единицу времени.
Стратегия в данном случае представляет собой последовательность
решений, принимаемых на каждом шаге процесса в зависимости от состояния
системы. Если все решения одинаковы, то такая стратегия называется
стационарной, то есть не зависит от номера шага. Оптимальной стратегией
считается та, которая минимизирует полный ожидаемый доход. Для
определения оптимальных стратегий в теории управляемых марковских цепей
разработаны два метода: рекуррентный и итерационный.
Рекуррентный метод применяется при сравнительно небольшом числе
шагов и основан на принципе Беллмана. Идея метода заключается в
последовательной оптимизации дохода на каждом шаге с использованием
рекуррентного уравнения. Однако он учитывает стохастичность процесса,
поэтому его называют методом стохастического динамического
программирования.
Итерационный метод оптимизации используется при неограниченном
числе шагов и связан с методами линейного программирования. Он