A method of bisection for discounted Markov decision problems

We describe in this paper how to introduce the concept of bisection into Dynamic Programming of stationary Markovian decision processes with infinite horizon. The combination of these two methods delivers a new class of algorithms. A basic bisection algorithm is given. Its rate of convergence is rather independent of the input data, especially the discount factor or contracting factor. If in any method of successive approximations we have > 0.5, then the bisection method has a faster convergence than the successive approximations. Bisection is especially advantageous if is close to unity. The computation of two inventory control problems with the basic algorithm of bisection is presented. The second example has a discount factor=0.9994. Using Howard's automobile replacement problem the new method is compared with value iteration, policy iteration andPorteus' method of extrapolations. Among them bisection turned out to be the most powerful procedure. The combination withPorteus' method of extrapolation is not as efficient as the bisection method alone. We also investigate how to combine the bisection method with monotone extrapolation when the transition matrices do not have equal row sums.

---

Zusammenfassung In dieser Arbeit wird die Idee der Bisektion in die Dynamische Optimierung stationärer Markovscher Entscheidungsprozesse mit unendlichem Planungshorizont eingeführt. Die Verbindung dieser beiden Methoden schafft eine neue Klasse von Algorithmen. Ein Basisalgorithmus, der selbst Ausgangspunkt zahlreicher Verfeinerungen und Spezialisierungen bildet, wird vorgestellt. Seine Konvergenzgeschwindigkeit ist nahezu unabhängig von Input-Daten, speziell dem Diskontfaktor bzw. der Lipschitz-Konstanten. Die Bisektion ist immer dann schneller als die Methode der sukzessiven Approximation, falls>0,5 ist. Deshalb ist das neue Verfahren besonders bei Problemen mit schwacher Kontraktionseigenschaft, d.h. nahe bei eins, geeignet. Der Rechenverlauf des Basisalgorithmus wird anhand zweier Lagerhaltungsmodelle diskutiert von denen das zweite eine Lipschitz-Konstante=0.9994 besitzt. Am Beispiel des Howardschen Autoersatzproblems zeigt sich, daß das Bisektionsverfahren im Vergleich mit der Wertiteration, Politikiteration undPorteus' Extrapolationsverfahren das schnellste Verfahren ist. Die Kombination der Bisektion mit der Extrapolationsmethode ist ungünstiger als die Bisektion allein. Es wird noch untersucht, wie die Bisektion mit der monotonen Extrapolation verbunden werden kann, wenn die Zustands-übergangsmatrizen keine konstanten Zeilensummen besitzen.

     

A comparison of two approaches to the optimal positioning of a new product in an attribute space

This paper is concerned with the optimal positioning of a new product in an attribute space. A deterministic optimization model that relies on the axiom of choice is compared with the model byShocker/Srinivasan [1974] that incorporates a probabilistic measure of choice. Investigating the assumptions and the construction of both models, it is shown that the probability function byShocker/Srinivasan is based on a controversial assumption and incorporates a parameter that has not been given an economic explanation. Furthermore, both models are applied to complex configurations. It is demonstrated that the optimal positions for the new product resulting from the model byShocker/Srinivasan depend heavily on the parameter just mentioned and may run contrary to plausible consequences of the axiom of choice.

---

Zusammenfassung Für die optimale Gestaltung neuer Produkte, d.h. ihrer Positionierung in einem Raum von Produkteigenschaften, wird ein Modell angeboten, das auf einer deterministischen Kaufentscheidung beruht, ein anderes, das eine stochastische Kaufentscheidung unterstellt. Es wird gezeigt, daß der zuletzt genannte Modelltyp stark von der Spezifikation eines ökonomisch bisher nicht erklärten Parameters abhängt und z.T. Konsequenzen aufweist, die dem Wahlaxiom zuwider laufen, auf das das erstgenannte Modell aufbaut. Durch einen Vergleich auch komplexer Konfigurationen von Käuferbeurteilungen neuer Produkte wird gezeigt, welche Gestaltungsentscheidungen auf der Grundlage der beiden Modelle zur Optimierung einer Zielfunktion zu treffen sind.

     

Über die optimale Beleuchtung einer geraden Straße

The following problem is due toL. Fejes Tóth: For a given sort of lamps letf(x) be the intensity of brightness in each point having distancex from the foot of the lamp. How must infinitely many lamps of this kind be arranged on a both-side infinite rectilinear road, such that the infimum of the intensities of brightness, extended over the whole street, is maximal, subject to the condition that the average number of lamps per kilometer is bounded by a fixed number (“Best distributions”)? The main result of this paper is: Iff is strictly convex, the equidistant distribution is best.     

Eine spezielle Vorgangsdauerverteilung zur Netzplananalyse durch Simulation

Zusammenfassung Es wird eineC genannte Verteilung bereitgestellt, die sich zur Erfassung von Vorgangsdauern bei Netzplanproblemen eignet und durch besondere Wirtschaftlichkeit bei Simulationsmethoden auszeichnet.

---

Summary In this paper a distributionC will be presented for the activity duration times in network problems which from the economical point of view is fit for the solution to network problems via Monte Carlo simulation.

     

An Experimental Study of a Flux Modulated Solid State Metathesis Reaction

A solid state metathesis (SSM) reaction was investigated with respect to the formation of rare‐earth carbodiimides, the role of the co‐produced salt (LiCl), and the eutectic flux medium (LiCl/KCl). A SSM reaction is characterized by an exothermic reaction in which a salt (often LiCl) is coproduced. When the salt melts, it can serve as a useful medium for the crystallization of a desired product. An improved crystal growth can be observed by using an eutectic flux. However, the composition of an eutectic LiCl/KCl flux is altered when LiCl is produced during the reaction. The thermal effects concerning the endothermic melting of the flux and the exothermic ingnition of the SSM reaction may compensate each other, which is not necessarily a drawback for the reaction to proceed.