Optimization of costly measurements in stochastic decision processes

Summary Two kinds of problems regarding measurement optimization in stochastic decision processes, when measurements are costly or constrained not to exceed a given number, have been investigated in the last years: the first one refers to the optimum timing of observations on the state vector of the process, while the second refers to the convenience of buying information on the random actions exerted by a stochastic environment. In this paper the two problems are considered from a unified point of view. In other words, the decision maker has to determine the optimal observation policy, under the assumption that both state and random vectors are measurable. A solution based on the application of dynamic programming is discussed for a general class of multistage processes. Analytical results are then obtained for scalar linear systems with quadratic cost on state and control. In this case, an efficient algorithm to determine the optimal sequence of measurements is presented, on the base of which a sensitivity analysis with respect to the process parameters is also carried out.

---

Zusammenfassung In den letzten Jahren wurden zwei Typen von Problemen untersucht, die sich auf die Optimierung von Messungen bei stochastischen Entscheidungsprozessen beziehen, einmal der Fall, daß Messungen kostspielig sind, und zum anderen, daß deren Anzahl beschränkt ist. Der erste Fall bezieht sich auf die Gewinnung von Informationen über den stochastischen Störprozeß, der zweite Fall untersucht den optimalen Zeitabstand zwischen den Messungen des Zustands- (bzw. Ist-)-vektors. In diesem Beitrag wurden beide Probleme von einem gemeinsamen Gesichtspunkt aus betrachtet, d. h. der Entscheidungsträger soll die optimale Meßpolitik bestimmen, unter der Annahme, daß Zustands- und Störvektor meßbar sind. Mit Hilfe des Dynamischen Programmierens wird eine allgemeine Lösung des Problems hergeleitet. Sodann werden analytische Ergebnisse für den Fall linear-quadratischer Modelle angegeben. Schließlich wird ein wirksamer Algorithmus zur Bestimmung der optimalen Meßfolge entwickelt und darüber hinaus eine Sensitivitätsanalyse der Abhängigkeit von den Prozeßparametern durchgeführt.

---

---

This work has been supported by C. N. R. (National Council of Research) of Italy.