Necessary optimality conditions of the second oder in a stochastic optimal control problem with delay argument

Abstract


The optimal control problem of nonlinear stochastic systems which mathematical model is given by Ito stochastic differential equation with delay argument is considered. Assuming that the concerned region is open for the control by the first and the second variation (classical sense) of the quality functional we obtain the necessary optimality condition of the first and the second order. In the particular case we receive the stochastic analog of the Legendre-Clebsch condition and some constructively verified conclusions from the second order necessary condition. We investigate the Legendre-Clebsch conditions for the degeneration case and obtain the necessary conditions of optimality for a special control, in the classical sense.

Full Text

Введение. Известно (см. напр. [1-9]), что большое число объектов химической технологии, биологии, экономики, ряда областей науки и техники описывается стохастическими дифференциальными уравнениями с запаздывающим аргументом. Такие уравнения характеризуют работу объектов, в которых элементы являются запаздывающими звеньями. Исходя из этого задачи управления, описываемые стохастическими дифференциальными уравнениями с запаздывающим аргументом, не теряют актуальности. В теории оптимального стохастического управления при описании стохастической управляемой модели удобным математическим аппаратом являются стохастические дифференциальные уравнения Ито [10-14]. 620 Необходимые условия оптимальности второго порядка в одной стохастической задаче. . . Ранее в работах [15-18] получены различные виды необходимых условий оптимальности для задач управления стохастическими системами, описываемые стохастическими дифференциальными уравнениями Ито с запаздывающим аргументом. Подобные задачи исследованы для случая обыкновенных дифференциальных уравнений с запаздыванием в работах [19-23 и др.] В настоящей статье при помощи стохастического аналога метода, предложенного и развитого в работах К. Б. Мансимова (см. напр. [20, 21]), при предположении открытости области управления получено необходимое условие оптимальности первого порядка (уравнение Эйлера) [24,25]. В силу неотрицательности второй вариации критерия качества установлен ряд конструктивно проверяемых необходимых условий оптимальности второго порядка, в том числе аналог условия Лежандра-Клебша [26, 27]. 1. Постановка задачи. Пусть (Ω, F, P ) - полное вероятностное пространство с определенными на нем неубывающим потоком σ-алгебр {F t , t ∈ [t0 , t1 ]}, вложенных в F = σ w(s), t0 s t , где w(t) - n-мерный стандартный винеровский процесс; L2F (t0 , t1 ; Rn ) - пространство измеримых по (t, ω) случайных процессов, x(t, ω) : [t0 , t1 ] : Ω → Rn , для которых t1 E x(t) 2 < +∞, t0 где E - знак математического ожидания. Предположим, что управляемый процесс на фиксированном отрезке времени T = [t0 , t1 ] описывается следующей системой стохастических дифференциальных уравнений с запаздыванием:1 dx(t) = f t, x(t), x(t - τ (t)), u(t) dt+ + σ t, x(t), x(t - τ (t)) dw(t), t ∈ (t0 , t1 ] , (1) с начальным условием x(t) = Φ(t), t ∈ Et0 = [t0 - τ (t0 ), t0 ) , x(t0 ) = x0 . (2) (3) Здесь x(t) ∈ L2F (t0 , t1 ; Rn ) - вектор состояния; f (t, x, y, u) - заданная n-мерная вектор-функция, непрерывная по совокупности переменных вместе с частными производными по (x, y, u) до второго порядка включительно, причем y(t) = x(t - τ (t)); σ(t, x, y) : T × Rn × Rn → Rn×n - (n × n)-мерная матричная функция, непрерывная по совокупности переменных вместе с частными производными по (x, y) до второго порядка включительно; τ (t) > 0 - непрерывно дифференцируемая скалярная функция, причем dτ (t)/dt < 1; Φ(t) ∈ L2F ((t0 - - τ (t0 ), t0 ; Rn ) - почти наверно (п.н.) непрерывная на Et0 начальная векторфункция; моменты t0 и t1 заданы. 1 Здесь и далее второй аргумент у функций x(t, ω) и u(t, ω) для компактности записи не пишется. 621 М а с т а л и е в Р. О. Пусть u(t, ω) ∈ Ud ≡ u(. , .) ∈ L2F (t0 , t1 ; Rr )/u(t, ω) ∈ U ⊂ Rr п.н. , (4) где U - заданное непустое ограниченное открытое множество. Назовем Ud множеством допустимых управлений. В дальнейшем предполагается, что каждому допустимому управлению u(t), t ∈ T соответствует единственное решение x(t) ∈ L2F (t0 , t1 ; Rn ) системы (1)-(3) с п.н. непрерывными траекториями. Целью управления является минимизация критерия качества (5) S(u) = E {ϕ(x(t1 ))} . Здесь ϕ(x) - заданная дважды непрерывно дифференцируемая скалярная функция. Допустимое управление u(t), доставляющее минимум функционалу (5) при ограничениях (1)-(4), назовем оптимальным управлением, а соответствующий процесс u(t), x(t) - оптимальным процессом. Целью данной работы является вывод конструктивно проверяемых условий оптимальности второго порядка в рассматриваемой задаче. 2. Вычисления первой и второй вариации критерия качества. Положим, что u(t), x(t) - фиксированный, а u(t) = u(t)+∆u(t), x(t) = x(t)+∆x(t) - произвольный допустимый процесс. Тогда ясно, что приращение траектории ∆x(t) будет удовлетворять системе d∆x(t) = d x(t) - x(t) = f (t, x(t), y(t), u(t)) - f (t, x(t), y(t), u(t)) dt+ + σ(t, x(t), y(t)) - σ(t, x(t), y(t)) dw(t), ∆x(t) = 0, t ∈ (t0 , t1 ] , (6) t ∈ {t0 } ∪ Et0 . (7) Приращение критерия качества (5) на этих управлениях можно записать в следующей форме: ∆S(u) = S(u) - S(u) = 1 = E ϕx (x(t1 ))∆x(t1 ) + ∆x (t1 )ϕxx (x(t1 ))∆x(t1 ) + o1 ( ∆x(t1 ) 2 ) . (8) 2 Пусть ψ(t) ∈ L2F (t0 , t1 ; Rn ) - случайный процесс, стохастический дифференциал которого имеет вид dψ(t) = α(t)dt + β(t)dw(t), где α(t) - n-мерная измеримая ограниченная функция, β(t) ∈ L2F (t0 , t1 ; Rn×n ). Тогда известно, что d ψ (t)∆x(t) = dψ (t)∆x(t) + ψ (t)d∆x(t)+ + β(t) σ(t, x(t), y(t)) - σ(t, x(t), y(t)) dt = = dψ (t)∆x(t) + ψ (t) 622 f (t, x(t), y(t), u(t)) - f (t, x(t), y(t), u(t)) dt+ Необходимые условия оптимальности второго порядка в одной стохастической задаче. . . + σ(t, x(t), y(t)) - σ(t, x(t), y(t)) dw(t) + + β(t) σ(t, x(t), y(t)) - σ(t, x(t), y(t)) dt. (9) Соотношение (9) получается с помощью формулы Ито [10-14]. С целью упрощения записи формул введем стохастический гамильтониан и следующие обозначения: H(t, x, y, u, ψ) = ψ f (t, x, y, u), Hy [t] = Hy (t, x(t), y(t), u(t), ψ(t)), Hxx [t] = Hxx (t, x(t), y(t), u(t), ψ(t)), Hyx [t] = Hyx (t, x(t), y(t), u(t), ψ(t)), Huy [t] = Huy (t, x(t), y(t), u(t), ψ(t)), fx [t] = fx (t, x(t), y(t), u(t)), fu [t] = fu (t, x(t), y(t), u(t)), σy [t] = σy (t, x(t), y(t)), Hx [t] = Hx (t, x(t), y(t), u(t), ψ(t)), Hu [t] = Hu (t, x(t), y(t), u(t), ψ(t)), Hxy [t] = Hxy (t, x(t), y(t), u(t), ψ(t)), Hux [t] = Hux (t, x(t), y(t), u(t), ψ(t)), Huu [t] = Huu (t, x(t), y(t), u(t), ψ(t)), fy [t] = fy (t, x(t), y(t), u(t)), σx [t] = σx (t, x(t), y(t)), σxx [t] = σxx (t, x(t), y(t)). Учитывая введенные обозначения, формулу (9) перепишем в следующей форме: d ψ (t)∆x(t) = dψ (t)∆x(t)+ + H(t, x(t), y(t), u(t), ψ(t)) - H(t, x(t), y(t), u(t), ψ(t)) dt+ + ψ (t) σ(t, x(t), y(t)) - σ(t, x(t), y(t)) dw(t)+ + β(t) σ(t, x(t), y(t)) - σ(t, x(t), y(t)) dt. (10) С учетом (7), (10) выражение (8) принимает следующий вид: 1 ∆S(u) = E ϕx (x(t1 ))∆x(t1 ) + ∆x (t1 )ϕxx (x(t1 ))∆x(t1 ) + o1 2 x(t1 ) 2 + t1 + ψ (t1 )∆x(t1 ) - dψ (t)∆x(t)- t0 t1 - H(t, x(t), y(t), u(t), ψ(t)) - H(t, x(t), y(t), u(t), ψ(t)) dt- t0 t1 - β(t) σ(t, x(t), y(t)) - σ(t, x(t), y(t)) dt . t0 Далее, используя формулу Тейлора, получим 1 ∆S(u) = E ϕx (x(t1 ))∆x(t1 ) + ∆x (t1 )ϕxx (x(t1 ))∆x(t1 ) + ψ (t1 )∆x(t1 )- 2 t1 - t1 dψ (t)∆x(t) - t0 t0 - 1 2 t1 Hx [t]∆x(t)dt - t1 Hy [t]∆y(t)dt - t0 t1 t1 ∆x (t)Hxx [t]∆x(t)dt + t0 Hu [t]∆u(t)dt- t0 ∆x (t)Hxy [t]∆y(t)dt+ t0 623 М а с т а л и е в Р. О. t1 t1 ∆y (t)Hyy [t]∆y(t)dt+ ∆y (t)Hyx [t]∆x(t)dt + + t0 t0 t1 t1 ∆u (t)Hux [t]∆x(t)dt+ ∆u (t)Huu [t]∆u(t)dt + 2 + t0 t0 t1 +2 ∆u (t)Huy [t]∆y(t)dt - t0 t1 - t1 β(t)σx [t]∆x(t)dt - β(t)σy [t]∆y(t)dt- t0 - 1 2 t0 t1 ∆x (t)β(t)σxx [t]∆x(t)dt - t0 - 1 2 1 2 t1 ∆y (t)β(t)σyy [t]∆y(t)dt- t0 t1 ∆x (t)β(t)σxy [t]∆y(t)dt- t0 - t1 1 2 ∆y (t)β(t)σyx [t]∆x(t)dt + η(∆u), (11) t0 где по определению η(∆u) = E o1 x(t1 ) 2 t1 - o2 ( x(t) + y(t) + u(t) )2 dt- t0 t1 - β(t) o3 ( x(t) + y(t) )2 dt . (12) t0 Здесь величины o2 ( . ) и o3 ( . ) определяются из соответствующих разложений: H(t, x(t), y(t), u(t), ψ(t)) - H(t, x(t), y(t), u(t), ψ(t)) = = Hx [t]∆x(t) + Hy [t]∆y(t) + Hu [t]∆u(t)+ 1 1 1 + ∆x (t)Hxx [t]∆x(t) + ∆x (t)Hxy [t]∆y(t) + ∆y (t)Hyx [t]∆x(t)+ 2 2 2 1 + ∆u (t)Hux [t]∆x(t) + ∆u (t)Huy [t]∆y(t) + ∆u (t)Huu [t]∆u(t)+ 2 + o2 ( x(t) + y(t) + u(t) )2 , σ(t, x(t), y(t)) - σ(t, x(t), y(t)) = 1 = σx [t]∆x(t) + σy [t]∆y(t) + ∆x (t)σxx [t]∆x(t)+ 2 1 1 + ∆x (t)σxy [t]∆y(t) + ∆y (t)σyx [t]∆x(t)+ 2 2 + o3 ( x(t) + y(t) )2 . Предположим, что случайные процессы ψ(t) ∈ L2F (t0 , t1 ; Rn ) и β(t) ∈ являются решением следующей системы стохастических диф- L2F (t0 , t1 ; Rn×n ) 624 Необходимые условия оптимальности второго порядка в одной стохастической задаче. . . ференциальных уравнений:   dψ(t) = - Hx [t] + (Hy [r(t)] + β(r(t))σy [r(t)])r(t) ˙ dt+    +β(t)dw(t), t ∈ [t0 , t1 - τ (t1 )) ,  dψ(t) = - H [t] + β(t)σ [t] dt + β(t)dw(t), t ∈ [t1 - τ (t1 ), t1 ) , x x   ψ(t ) = -ϕ (x(t )) , 1 x 1 (13) где r(t) - функция, обратная к γ(t) = t - τ (t). Систему (13) назовем стохастической сопряженной системой в рассматриваемой задаче. Отсюда, принимая во внимание (13), приращение функционала качества (11), соответствующее управлениям u(t) и u(t), с помощью очевидных преобразований может быть представлено в виде t1 ∆S(u) = E - Hu [t]∆u(t)dt + t0 1 ∆x (t1 )ϕxx (x(t1 ))∆x(t1 )- 2 t1 - ∆x (t) Hxx [t] + β(t)σxx [t] ∆x(t)dt- t0 t1 - ∆x (t) Hxy [t] + β(t)σxy [t] ∆y(t)dt- t0 t1 - ∆y (t) Hyx [t] + β(t)σyx [t] ∆x(t)dt- t0 t1 - ∆y (t) Hyy [t] + β(t)σyy [t] ∆y(t)dt- t0 t1 -2 t1 ∆u (t)Hux [t]∆x(t)dt - 2 t0 ∆u (t)Huy [t]∆y(t)dt- t0 t1 ∆u (t)Huu [t]∆u(t)dt - + η(∆u). (14) t0 В силу открытости области управления U специальное приращение допустимого управления u(t) можно определить по формуле ∆uε (t) = εδu(t), t ∈ T, (15) в которой ε - достаточное малое по абсолютной величине число, δu(t) ∈ L2F (t0 , t1 ; Rr ) - произвольная вектор-функция (вариация управления). Обозначим через ∆xε (t) специальное приращение траектории x(t), t∈ T , отвечающее приращению (15) допустимого управления u(t), t ∈ T . Из (6), используя формулу Тейлора, по схеме, например, работ [20, 25] получаем справедливость следующего утверждения. Лемма 1. Для специального приращения ∆xε (t) траектории x(t) системы (1)-(3) имеет место разложение ∆xε (t) = εδx(t) + o(ε; t), (16) 625 М а с т а л и е в Р. О. где δx(t) ∈ L2F (t0 , t1 ; Rn ) (вариация траектории), являющееся решением задачи dδx(t) = fx [t]δx(t) + fy [t]δy(t) + fu [t]δu(t) dt+ + σx [t]δx(t) + σy [t]δy(t) dw(t), t ∈ {t0 } ∪ Et0 . δx(t) = 0, t ∈ (t0 , t1 ] , (17) Стохастические дифференциальные уравнения (17), которым удовлетворяют вариации δx(t), называются уравнениями в вариациях [24]. Приведем еще одно утверждение, которое понадобится нам в дальнейшем. Лемма 2 [16]. Решение уравнения (17) можно представить в виде t δx(t) = R(t, s)δu(s)ds, (18) t0 где по определению R(t, s) = Q(t, s)fu [s]. Здесь фундаментальная матрица Q(t, s) является решением однородного уравнения dQ(t, s) = fx [t]Q(t, s) + fy [t]Q(γ(t), s) dt+ + σx [t]Q(t, s) + σy [t]Q(γ(t), s) dw(t), Q(t, t) = I, Q(t, s) = 0, s > t, I - единичная матрица. С учетом (12), (15), (16) и согласно обычной схеме [20, 25] в формуле приращения (14) доказывается, что первая и вторая (в классическом смысле) вариация функционала качества имеют вид δ 1 S(u; δu) = -E t1 Hu [t]δu(t)dt, t0 δ 2 S(u; δu) = E δx (t1 )ϕxx (x(t1 ))δx(t1 )- t1 - δx (t) Hxx [t] + β(t)σxx [t] δx(t)dt- t0 t1 - δx (t) Hxy [t] + β(t)σxy [t] δy(t)dt- t0 t1 - δy (t) Hyx [t] + β(t)σyx [t] δx(t)dt- t0 626 Необходимые условия оптимальности второго порядка в одной стохастической задаче. . . t1 δy (t) Hyy [t] + β(t)σyy [t] δy(t)dt- - t0 t1 t1 δu (t)Huy [t]δy(t)dt- δu (t)Hux [t]δx(t)dt - 2 -2 t0 t0 t1 - δu (t)Huu [t]δu(t)dt . t0 3. Конструктивно проверяемые необходимые условия оптимальности. Пусть u(t), x(t) - оптимальный процесс. Тогда для всех δu(t) ∈ L2F (t0 , t1 ; Rr ), согласно результатам вариационного исчисления (см. напр. [24-26]), первая вариация функционала (5) равняется нулю, а вторая - неотрицательна: δ 1 S(u; δu) = 0, δ 2 S(u; δu) 0. Таким образом, вдоль оптимального процесса (u(t), x(t)) для всех δu(t) ∈ L2F (t0 , t1 ; Rr ) t1 Hu [t]δu(t)dt = 0, E (19) t0 t1 E δx (t1 )ϕxx (x(t1 ))δx(t1 ) - δx (t) Hxx [t] + β(t)σxx [t] δx(t)dt- t0 t1 - δx (t) Hxy [t] + β(t)σxy [t] δy(t)dt- t0 t1 δy (t) Hyx [t] + β(t)σyx [t] δx(t)dt- - t0 t1 - δy (t) Hyy [t] + β(t)σyy [t] δy(t)dt- t0 t1 -2 t1 δu (t)Hux [t]δx(t)dt - 2 t0 δu (t)Huy [t]δy(t)dt- t0 t1 - δu (t)Huu [t]δu(t)dt 0. (20) t0 Из (19) по схеме, например из [27], получаем, что вдоль оптимального процесса u(t), x(t) соотношение EHu [θ] = 0 (21) выполняется почти для всех θ ∈ [t0 , t1 ) .2 Сформулируем полученный результат в виде теоремы. Теорема 1. Для оптимальности допустимого управления u(t) в задаче (1)-(5) необходимо, чтобы почти для всех θ ∈ [t0 , t1 ) выполнялось равенство (21). 2 Здесь и далее θ ∈ [t0 , t1 ) - произвольная точка Лебега управления u(t). 627 М а с т а л и е в Р. О. Условие оптимальности (21) является стохастическим аналогом уравнения Эйлера для рассматриваемой задачи и представляет собой необходимое условие оптимальности первого порядка. Каждое допустимое управление u(t), удовлетворяющее уравнению Эйлера (21), следуя, например, [25], будем называть классической экстремалью задачи (1)-(5). Следовательно, справедлива следующая Теорема 2. Для оптимальности классической экстремали u(t), t ∈ T в задаче (1)-(5) необходимо, чтобы неравенство (20) выполнялось для всех δu(t) ∈ L2F (t0 , t1 ; Rr ). Как видно, неравенство (20) есть необходимое условие оптимальности второго порядка и является трудно проверяемым условием. Однако использование неравенства (20) может дать конструктивно проверяемые необходимые условия оптимальности второго порядка. Представление (18) позволяет получить следующие преобразования для некоторых членов формулы (20), которые будут использоваться в дальнейшем: δx (t1 )ϕxx (x(t1 ))δx(t1 ) = t1 t1 = t0 δu (s)R(t1 , s)ϕxx (x(t1 ))R(t1 , ξ)δu(ξ)dsdξ, (22) t0 t1 δx (t) Hxx [t] + β(t)σxx [t] δx(t)dt = t0 t1 t1 = t1 δu (s) t0 t0 R(t, s) Hxx [t] + β(t)σxx [t] R(t, ξ)dt δu(ξ) dξds, max(s,ξ) (23) t1 δx (t) Hxy [t] + β(t)σxy [t] δy(t)dt = t0 t1 t1 t1 = δu (s) t0 t0 R(t, s) Hxy [t]+β(t)σxy [t] R(γ(t), ξ)dt δu(ξ) dξds, max(s,ξ) (24) t1 δy (t) Hyx [t] + β(t)σyx [t] δx(t)dt = t0 t1 t1 = t0 628 t1 δu (τ ) t0 R(γ(t), s) Hyx [t]+β(t)σyx [t] R(t, ξ)dt δu(ξ) dξds, max(s,ξ) (25) Необходимые условия оптимальности второго порядка в одной стохастической задаче. . . t1 δy (t) Hyy [t] + β(t)σyy [t] δy(t)dt = t0 t1 t1 t1 δu (s) = t0 t0 R(γ(t), s) Hyy [t]+β(t)σyy [t] R(γ(t), ξ)dt δu(ξ) dsdξ, max(s,ξ) (26) t1 t1 t1 δu (s)Hux [s]R(s, t)ds δu(t) dt, δu (t)Hux [t]δx(t)dt = t0 t0 t1 t1 t1 δu (t)Huy [t]δy(t)dt = t0 t0 (27) t δu (s)Huy [s]R(γ(s), t)ds δu(t) dt. (28) t Положим K(s, ξ) = R(t1 , s)ϕxx (x(t1 ))R(t1 , ξ)+ t1 + R(t, s) Hxx [t] + β(t)σxx [t] R(t, ξ)+ max(s,ξ) + R(t, s) Hxy [t] + β(t)σxy [t] R(γ(t), ξ)+ + R(γ(t), s) Hyx [t] + β(t)σyx [t] R(t, ξ)+ + R(γ(t), s) Hyy [t] + β(t)σyy [t] R(γ(t), ξ) dt. (29) Учитывая тождества (22)-(29), из (20) получаем неравенство вида t1 t1 E t1 δu (s)K(s, ξ)δu(ξ)dsdξ + t0 t0 δu (t)Huu [t]δu(t)dt+ t0 t1 t1 +2 δu (s) Hux [s]R(s, t) + Huy [s]R(γ(s), t) ds δu(t)dt t0 0. (30) t Теорема 3 (Необходимое условие оптимальности второго порядка). Для оптимальности классической экстремали u(t), t ∈ T в задаче (1)-(5) необходимо выполнение неравенства (30) для всех δu(t) ∈ L2F (t0 , t1 ; Rr ). Отметим, что детерминированный аналог матричной функции K(s, ξ) впервые введен в работах К. Б. Мансимова [20, 21]. Ясно, что условие (30) является общим интегральным необходимым условием оптимальности классической экстремали. Но использование различных специальных вариаций управления в этом условии может дать целый ряд легче проверяемых необходимых условий оптимальности, в частности, стохастический аналог условия Лежандра-Клебша. Следствие 1 (Стохастический аналог условия Лежандра-Клебша). Для оптимальности классической экстремали u(t), t ∈ T в задаче (1)-(5) необходимо, чтобы неравенство Eu Huu [θ]u 0, (31) 629 М а с т а л и е в Р. О. выполнялось почти для всех θ ∈ [t0 , t1 ) и u ∈ Rr . Для доказательства неравенства (31) достаточно вариацию управления δu(t) в (30) определить по формуле   0, t ∈ [t0 , θ) , δuµ (t) = v, t ∈ [θ, θ + µ) , (32)  0, t ∈ [θ + µ, t ] , 1 где v ∈ U , θ ∈ [t0 , t1 ), а µ > 0 - достаточно малое число. Следствие 2. Для оптимальности классической экстремали u(t), t ∈ T в задаче (1)-(5) необходимо, чтобы выполнялось неравенство t1 t1 E v t1 K(s, ξ)dsdξ t0 + t0 Huu [t]dt+ t0 t1 t1 + 2v Hux [s]R(s, t) + Huy [s]R(γ(s), t) ds dt t0 0 t для всех v ∈ Rr . Следствие 3. Если u(t) - скалярное управление, то для его оптимальности в задаче (1)-(5) необходимо, чтобы выполнялось неравенство t1 t1 E t1 K(s, ξ)dsdξ + t0 t0 Huu [t]dt+ t0 t1 t1 +2 Hux [s]R(s, t) + Huy [s]R(γ(s), t) ds dt t0 0. t Отметим, что не исключена также возможность вырождения аналога условия Лежандра-Клебша, т.е. его выполнение тривиальным образом. Определение [25]. Если вдоль классической экстремали u(t), t ∈ T условие Ev Huu [θ]v = 0 выполняется почти для всех θ ∈ [t0 , t1 ) и v ∈ Rr , то u(t) называется особым в классическом смысле управлением. Необходимое условие оптимальности (30) позволяет получить необходимые условия оптимальности особых в классическом смысле управлений. Считая u(t) особым в классическом смысле оптимальным управлением и применяя формулу (32), из неравенства (30) получим E v K(θ, θ) + Hux [θ]R(θ, θ) v 0. Отсюда в силу R(θ, θ) = fu [θ] сразу следует, что неравенство Ev K(θ, θ) + Hux [θ]fu [θ] v 630 0 (33) Необходимые условия оптимальности второго порядка в одной стохастической задаче. . . выполняется почти для всех θ ∈ [t0 , t1 ) и v ∈ U . Следовательно, доказано следующее утверждение. Теорема 4. Для оптимальности особого в классическом смысле управления u(t) в задаче (1)-(5) необходимо, чтобы неравенство (33) выполнялось для всех v ∈ U и θ ∈ [t0 , t1 ) . Заключение. C применением стохастического аналога модификации метода приращений вычислены первая и вторая вариации функционала качества в задаче стохастического оптимального управления систем с запаздывающим аргументом. С их помощью сформулированы и доказаны необходимые условия оптимальности первого и второго порядков, в том числе ряд конструктивно проверяемых следствий. Полученные результаты являются новыми и носят теоретический характер. Они могут быть эффективно применены в конкретных задачах стохастического управления, описываемых системой дифференциальных уравнений с запаздывающим аргументом. Декларация о финансовых и других взаимоотношениях. Исследование не имело спонсорской поддержки. Автор несет полную ответственность за предоставление окончательной версии рукописи в печать. Окончательная версия рукописи была одобрена автором. Автор не получал гонорар за статью.

About the authors

Rashad oglu Mastaliyev

Institute of Control Systems, Azerbaijan National Academy of Sciences

Email: mastaliyevrashad@gmail.com
9, B. Vahabzade st., Baku, AZ1141, Azerbaijan
(Ph.D. (Mathematics); mastaliyevrashad@gmail.com), Leading Researcher, Management in Complex Dynamic Systems Laboratory

References

  1. Царьков Е. Ф. Случайные возмущения дифференциально-функциональных уравнений. Рига: Зинатне, 1989. 421 с.
  2. Зайцев В. В., Карлов (младший) А. В., Телегин С. С. ДВ-модель системы “хищник-жертва” // Вестн. СамГУ. Естественнонаучн. сер., 2009. № 6(72). С. 139-148.
  3. Кульман Н. К., Хаметов В. М. Оптимальная фильтрация в случае косвенного наблюдения диффузионного процесса с запаздывающим аргументом // Пробл. передачи информ., 1978. Т. 14, № 3. С. 55-64.
  4. Бутковский А. Г. Управление системами с распределенными параметрами (обзор) // Автомат. и телемех., 1979. № 11. С. 16-65.
  5. Эльсгольц Д. Э. Введение в теорию дифференциальных уравнений с отклоняющимся аргументом. М.: Наука, 1964. 128 с.
  6. Kolmanovskii V. B., Nosov V. R. Stability of functional differential equations. London: Academic Press, 1986. xiv+217 pp.
  7. Kolmanovskii V. B., Myshkis A. D. Applied Theory of Functional Differential Equations / Mathematics and Its Applications (Soviet Series). vol. 85. Netherlands: Springer, 1992. xv+234 pp. doi: 10.1007/978-94-015-8084-7
  8. Kolmanovskii V. B., Shaikhet L. E. Control of systems with aftereffect / Translations of mathematical monographs. vol. 157. Providence, RI: American Mathematical Society, 1996. xi+336 pp.
  9. Митропольский Ю. А., Нгуен Донг Ань Случайные колебания в квазилинейных системах стохастических дифференциальных уравнений с запаздыванием // Укр. мат. ж., 1986. Т. 38, № 2. С. 181-187.
  10. Гихман И. И., Скороход А. В. Введение в теорию случайных процессов. М.: Наука, 1977. 568 с.
  11. Рыбаков К. А. Оптимальное управление стохастическими системами при импульсных воздействиях, образующих эрланговские потоки событий // Программные системы: теория и приложения, 2013. Т. 4, № 2. С. 3-20.
  12. Гихман И. И., Скороход А. В. Стохастические дифференциальные уравнения и их приложения. Киев: Наука думка, 1982. 612 с.
  13. Тригуб М. В. Синтез управления нелинейными стохастическими системами // Автомат. и телемех., 2001. № 2. С. 101-111.
  14. Леваков А. А. Стохастические дифференциальные уравнения. Минск: БГУ, 2009. 231 с.
  15. Agayeva C. A., Abushov Q. U. The maximum principle for some nonlinear stochastic control system with variable structure // Theory Stoch. Process., 2010. vol. 16(32), no. 1. pp. 1-11.
  16. Aghayeva C. A. Second order necessary condition of optimality for time lag stochastic systems / 24th Mini EURO Conference on Continuous Optimization and InformationBased Technologies in the Financial Sector (MEC EurOPT 2010) (June 23-26, 2010, Izmir, Turkey). Vilnius: Vilnius Gediminas Technical University Publishing House “Technika”. pp. 94-99, Retrieved from http://leidykla.vgtu.lt/conferences/MEC_EurOPT_2010/003/0001.html (November 08, 2016).
  17. Махмудов Н. И., Агаева Ч. А. Необходимые условия оптимальности для стохастических систем управления с запаздывающим аргументом: Деп. в ВИНИТИ 28 марта 1990 г., № 2291-2390, 1990. 19 с.
  18. Аюкасов Р. А. Синтез алгоритма оптимального управления стохастическими динамическими системами с запаздыванием // Мехатроника, автоматизация, управление, 2009. № 5. С. 8-11.
  19. Габасов Р., Кириллова Ф. М. Качественная теория оптимальных процессов. М.: Наука, 1971. 507 с.
  20. Мансимов К. Б. Особые управления в системах с запаздыванием. Баку: Элм, 1999. 176 с.
  21. Марданов М. Дж., Мансимов К. Б., Меликов Т. К. Исследование особых управлений и необходимые условия оптимальности второго порядка в системах с запаздыванием. Баку: Элм, 2013. 356 с.
  22. Харатишвили Г. Л., Тадумадзе Т. А. Нелинейные оптимальные системы управления с переменными запаздываниями // Матем. сб., 1978. Т. 107(149), № 4(12). С. 613-633.
  23. Милюткин В. П. Принцип максимума для задач с запаздыванием с фиксированным временем и свободным правым концом траектории // Автомат. и телемех., 1968. № 6. С. 37-45.
  24. Габасов Р., Кириллова Ф. М. Принцип максимума в теории оптимального управления. Мн.: Наука и техника, 1974. 274 с.
  25. Габасов Р., Кириллова Ф. М. Особые оптимальные управления. М.: Наука, 1973. 256 с.
  26. Алексеев В. М., Тихомиров В. М., Фомин С. В. Оптимальное управление. М.: Наука, 1979. 432 с.
  27. Иоффе А. Д., Тихомиров В. М. Теория экстремальных задач. М.: Наука, 1974. 479 с.
  28. Мордухович Б. Ш. Методы аппроксимации в задачах оптимизации и управления. М.: Наука, 1988. 359 с.

Statistics

Views

Abstract - 56

PDF (Russian) - 15

Cited-By


Article Metrics

Metrics Loading ...

PlumX

Dimensions

Refbacks

  • There are currently no refbacks.

Copyright (c) 2016 Samara State Technical University

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies