熵正则化方法与指数(乘子)罚函数法之间的关系

由于极大极小问题在许多科学与工程中有着重要应用,特别是形如max的函数频繁地出现在各类数值分析和优化问题中,因此对于求解该类问题的算法研究长久不衰,这些算法一般分为两大类：一类是直接法,其算法设计仅以有效地求解原问题（P）为目的;另一类是间接法,其算法以找一个能够替代不可微max函数φ（x）的光滑函数为目的,故这类算法被称为光滑化方法,文[1,2]中的熵正则化方法就属于光滑化方法范畴。     

熵函数法的数学理论

１．引言考虑复合函数其中ｇ;：Ｒ"－Ｒ,ｉ＝１,２,...;。连续可微．因的ｘ）的不可微性,涉及的ｘ）的优化问题,如极大极小问题Ｉｒｌｍｌｎｏｔｘｊ．ｆｉｊＺＦＲ"通常属不可微优化范畴．文山借助最大嫡原理推导出一类一致逼近一（Ｘ）的可微函数（称之为妨函数）Ｏ。ｉｌｌ--一ｉｆｌｙｌｌＸＤＣＱ．ｌｏｌｌ．ＩＪｊ容易证明ｔｉｍ人一中且对任意ｘＥＲ",ＣＭ＋ＯＯｇｂｃｌ（ｌ＞ｏｆｃ。（ｌ,ＶＣＺ＞ＣＩ＞０,（４ｉｌｌｆｆｉ０＜ｕｌ。（）ｄｉ（］＜．（５基于该性质,文山一【４］通过一次取定较大有限值Ｃ。＞０,将…     

解非线性方程组的极大熵方法

１引言考虑非线性方程组．其中Ｆ（ｘ）＝（ｆ１（ｘ）ｆ２（ｘ）,ｆ２（ｘ）,…．ｆｎ（ｘ））Ｔ．ｆｉ：Ｒｎ（ｉ＝１,…,ｎ）是连续可微实值函数．求解非线性方程组的方法多种多样,例如．以Ｎｅｗｔｏｎ法为代表的迭代法及其一些变形．以及将问题（１．１）转换为ｆ（Ｆ（ｘ））的极小化问题,等等．Ｎｅｗｔｏｎ法在理论上有许多很好的结果,但在实际计算过程中,由于例如方法对初始点的严格要求以及计算Ｆ＇（ｘ）或其相应的近似估计的困难,使方法的使用受到一定的限制．用无约束优化方法求解（１．１）时,通常将其化成一个非线…     

求解约束极大极小问题的一种熵函数法

１引言熵函数法的原始思想源于Ｋｒｅｉｓｓｅｌｍｅｉｅｒ和Ｓｔｅｉｎｈａｕｓｅｒ于１９７９年发表的文［１］．由于使用该方法容易编制可以求解多类优化问题的通用软件,并在具有某种凸性的情况下都能求得满足工程精度要求的解,因而受到国内外工程技术人员的喜爱,进入八十年代以来,该方法被广泛地应用于结构优化和工程设计等领域［２－５］．近年来,熵函数法在求解约束和无约束极大极小问题、线性规划以及半无限规划等问题的算法研究中,也取得了一些很好的成果［６－９］带有等式或不等式约束的极大极小问题是一类具有广泛代表性的…     

求解不等式约束最优化问题的MBF—ODE方法

１引言考虑用基于修正内罚函数的常微分方程（ＭＢＦ－ＯＤＥ）方法求解下列不等式约束极小化问题：其中ｆi∈ｃ２：Ｒ,ｉ=0,１,…,ｍ．求解无约束极小化问题的ＯＤＥ的一般形式是其中,φ（ｘ）∈Ｃ１：ΩＲｎ→Ｒ;ｓ（ｘ）∈Ｃ１：ΩＲｎ→Ｒｎ且满足φ（ｘ）＞０,ｓＴ（ｘ）ｆ（ｘ）＜０,ｆ（ｘ）∈Ｃ１：Ｒｎ→Ｒ为目标函数．为便于用ＯＤＥ方法求解（１．ｌ）,可藉助于罚函数将（１．ｌ）变换为无约束极小化问题（见［７］．但由于经典罚函数（ＣＢＦ）在计算上有较大的困难,我们采用修正内罚函数（ＭＢＦ）．其基本思想是用…     

单峰函数最优化问题的进化策略

１．引言 考虑无约束优化问题ｆ（ｘ）,其中ｆ（ｘ）为单峰函数．这类优化问题,不仅包含具有某种凸性的函数的极小化问题,而且包含其它许多问题,例如相容的和不相容的线性方程组的求解,也都可以归结为这类优化问题． 如果函数ｆ（ｘ）的性态良好,各类以梯度为基础的算法无疑是求解问题（Ｐ）的首选方法．假若问题（Ｐ）不可微,或者虽然可微,但 ｆ（ｘ）的 Ｈｅｓｓｉａｎ阵高度病态,则应该另辟蹊径． 近年来颇受人们重视的进化类算法,由于不使用梯度,计算过程对函数的性态依赖性较小,具有适应范围广、鲁棒性强的优点,而且特别…     

求解非线性互补问题的一种序列线性方程组方法

１　引　言 设Ｆ：Ｒｎ→Ｒｎ．则非线性互补问题ＮＣＰ（Ｆ）的形式如下：求ｘ∈ＲＮ,使ＮＣＰ（Ｆ）是如下变分不等式ＶＩ（Ｆ,Ｘ）的一种重要形式：求ｘ∈Ｘ　Ｒ　使当Ｘ＝Ｒｎ＋时,ＶＩ（Ｆ,Ｘ）即为ＮＣＰ（Ｆ）．由于ＮＣＰ和ＶＩ在工程和经济等领域中有广泛的应用,因而,对其研究受到了很大的重视．目前,关于（１．２）的求解已发展了一系列算法,线性化方法是常用的一类算法．线性化方法的局部收敛性研究已有了许多好的结果（见［９,１０］等）．全局收敛性成为了当前研究ＶＩ（Ｆ,Ｘ）算法的一个热门课题．并在Ｎｅｗｔｏ…     

关于含非凸约束的变化问题

本文分别讨论泛函Ｉｐ（ｕ）＝∫Ω｛「α＾αβ（ｘ，ｕ）ｇｉｊ（ｘ，ｕ）Ｄαｕ＾ｉＤβｕ＾ｉＤβｕ＾ｊ」＾ｐ／２＋Ｐ（ｘ，ｕ）｝ｄｘ，在一般的非凸几何约束Ｆ１＝｛ｕ∈Ｈ＾１，ｐ（Ω，Ｒ＾Ｎ）；ｕ∈Ｍａ．ｅ．于Ω，ｕ│δΩ＝ｕ０｝和非凸图约束下的极小化问题，其中Ｍ为Ｒ＾Ｎ中的任一光滑开子集或Ｒ＾Ｎ的一个开子流形。     

一类不可微优化问题的有效解法

本文提出一种以最大熵方法为基础的光滑技术,用来求解和“极大值”函数有关的一类不可微优化问题,解决问题的基本思路,是用一个称之为“凝聚”函数的光滑函数直接代替不可微的极大值函数,文中给出了该函数的推导和证明了它的一些有用性质,使用这一光滑技术,可把无约束和有约束极大极小两种问题均转化为光滑函数的无约束优化问题,因此可以直接利用现有的无约束优化算法软件解这类不可微优化问题,本文方法特别易于计算机实现,而且收敛速度快、数值稳定性好。     

非光滑约束问题的既约次梯度法

１引言 对带约束的不可微的非线性规划问题,由于不能使用梯度,求极小点就比较困难．本文给出解决此问题的一种有效的算法． ２　非光滑约束问题的既约次梯度法 １）非线性规划问题的Ｌａｅｒａｎｅ对偶理论 考虑下面非线性规划问题其中ｇ（ｘ）＝（ｇ１（ｘ）,…,ｇｒ（ｘ））Ｔ,ｈ（ｘ））＝（ｈ１（ｘ）,…,ｈｍ（ｘ））Ｔ,ｆ（ｘ）＝　　　　　　Ｒｎ中是Ｌｉｓｐｓｃｈｉｔｚ连续的ｉ＝１,２,…,ｒ,ｊ＝１,２,…,ｍ相应的Ｌａｇｒａｎｇｅ对偶问题为其中　　（ｕ,　）＝ｉｎｆＬ（ｘ;ｕ,ｖ）＝ｉｎｆ（ｆ（ｘ）＋ｕＴ…     

不完全信息下损失风险的研究

在获得损失分布不完全信息情况下,提出用方差和熵共同度量损失风险的方法.在不完全信息条件下,通过最大熵原理在最不确定的情况下得到最大熵损失分布,并获得了损失分布的熵函数值.用熵值度量损失分布对于均匀分布的离散程度,从而度量概率波动带来的风险;用方差度量损失对于均值的离散程度,从而度量状态波动带来的风险.由于熵是与损失变量更高阶矩信息相联系的,所以新方法是从更全面的角度对损失风险的预测.通过算例,进一步看出在获得高阶矩信息下,熵参与风险度量的必要性.     

Minimax问题的调节熵函数法

本文提出了求解minimax问题的调节熵函数法,理论分析及数值结果均表明该方法比原熵函数法更优越.     

Physical entropy, information entropy and their evolution equations

Inspired by the evolution equation of nonequilibrium statistical physics entropy and the concise statistical formula of the entropy production rate, we develop a theory of the dynamic information entropy and build a nonlinear evolution equation of the information entropy density changing in time and state variable space. Its mathematical form and physical meaning are similar to the evolution equation of the physical entropy: The time rate of change of information entropy density originates together from drift, diffusion and production. The concise statistical formula of information entropy production rate is similar to that of physical entropy also. Furthermore, we study the similarity and difference between physical entropy and information entropy and the possible unification of the two statistical entropies, and discuss the relationship among the principle of entropy increase, the principle of equilibrium maximum entropy and the principle of maximum information entropy as well as the connection between them and the entropy evolution equation.     

工程设计中约束规划熵方法的收敛性分析

极大熵方法在工程设计优化中得到成功的应用,但它的收敛性分析一直没有得到很好的解决．本文讨论了这个有意义的问题,在一般连续条件下解决了工程设计中的外点极大熵方法和内点极大熵方法的收敛性．     

农作物单产的最大熵分布及在费率厘定上的应用

农作物单产分布的确定是农业保险中费率厘定的基础。本文引入最大熵原理,基于最大熵优化模型得出农作物单产的最大熵分布,并以此进行费率厘定。同时以辽宁省主要作物水稻、玉米、大豆和花生为例,确定了该四种农作物的费率,分别为4.45%、6.77%、6.34%、6.43%。结果表明:利用最大熵分布理论进行费率厘定不需要事先假定农作物单产分布的形式,而且考虑了更多作物单产分布的信息,为农业保险费率的合理精算提供一种新的可供选择的方法,有助于农业风险决策的科学化。     

一类无约束离散Minimax问题的区间调节熵算法

In this paper,a class of unconstrained discrete minimax problems is described,in which the objective functions are in C^1. The paper deals with this problem by means of taking the place of maximum-entropy function with adjustable entropy function. By constructing an interval extension of adjustable entropy function and some region deletion test rules, a new interval algorithm is presented. The relevant properties are proven, The minimax value and the localization of the minimax points of the problem can be obtained by this method. This method can overcome the flow problem in the maximum-entropy algorithm. Both theoretical and numerical results show that the method is reliable and efficient.     

基于极大熵准则的先验分布确定方法

借助于熵的概念，讨论了用极大熵的思想来确定先验分布的几种情形，给出了在各种情形下先验分布的形式和结论，从而提供了确定先验分布的一种有效的方法。     

一般约束极大极小问题的一个有效的近似解法

一般约束极大极小问题的一个有效的近似解法唐焕文，张立卫，王云诚（大连理工大学应用数学系，辽宁，１１６０２４）．摘要＊从共扼的观点出发，导出了极大熵函数，给出了处理一般约束极大极小问题的一个有效的近似方法—极大熵方法，并在较弱的条件下，证明了算法的收敛...     

参变极值问题的信息凝聚分布与Boltzmann极大熵函数

该文利用Ｂｏｌｔｚｍａｎｎ 熵概念给出了参变极值问题最优解的一种积分极限表达式和极值函数的极大熵函数,讨论了它们一致收敛性的要求并给出了极大熵函数一致收敛的一个充分条件,将之应用到全局最优解问题得到了全局最优解和最优值的一种显表示,最后还探讨了极大熵函数在一类双层规划问题求解中的应用．     

Maximum entropy method for solving operator equations of the first kind

The maximum entropy method for linear ill-posed problems with modeling error and noisy data is considered and the stability and convergence results are obtained. When the maximum entropy solution satisfies the “source condition”, suitable rates of convergence can be derived. Considering the practical applications, ana posteriori choice for the regularization parameter is presented. As a byproduct, a characterization of the maximum entropy regularized solution is given.