Generalized Markovian decision processes

Summary A general discrete decision process is formulated which includes both undiscounted and discounted semi-Markovian decision processes as special cases. A policy-iteration algorithm is presented and shown to converge to an optimal policy. Properties of the coupled functional equations are derived. Primal and dual linear programming formulations of the optimization problem are also given. An application is given to Markov ratio decision process.

---

Zusammenfassung Es wird ein allgemeiner diskreter Entscheidungsprozeß betrachtet, welcher sowohl die undiskontierten und diskontierten Semi-Markoffschen Entscheidungsprozesse als Spezialfälle enthält. Ein auf der Politik-Iteration basierendes Verfahren wird vorgestellt und die Konvergenz gegen eine optimale Politik wird bewiesen. Wir zeigen einige Eigenschaften des Paares gekoppelter Funktionalgleichungen, die in diesem Modell auftreten. Zum Schluß werden noch die Formulierungen dieses Entscheidungsmodelles als primales und duales lineares Optimierungsproblem angegeben.