Necessary optimality conditions of the second oder in a stochastic optimal control problem with delay argument

Full Text

Введение. Известно (см. напр. [1-9]), что большое число объектов химической технологии, биологии, экономики, ряда областей науки и техники описывается стохастическими дифференциальными уравнениями с запаздывающим аргументом. Такие уравнения характеризуют работу объектов, в которых элементы являются запаздывающими звеньями. Исходя из этого задачи управления, описываемые стохастическими дифференциальными уравнениями с запаздывающим аргументом, не теряют актуальности. В теории оптимального стохастического управления при описании стохастической управляемой модели удобным математическим аппаратом являются стохастические дифференциальные уравнения Ито [10-14]. 620 Необходимые условия оптимальности второго порядка в одной стохастической задаче. . . Ранее в работах [15-18] получены различные виды необходимых условий оптимальности для задач управления стохастическими системами, описываемые стохастическими дифференциальными уравнениями Ито с запаздывающим аргументом. Подобные задачи исследованы для случая обыкновенных дифференциальных уравнений с запаздыванием в работах [19-23 и др.] В настоящей статье при помощи стохастического аналога метода, предложенного и развитого в работах К. Б. Мансимова (см. напр. [20, 21]), при предположении открытости области управления получено необходимое условие оптимальности первого порядка (уравнение Эйлера) [24, 25]. В силу неотрицательности второй вариации критерия качества установлен ряд конструктивно проверяемых необходимых условий оптимальности второго порядка, в том числе аналог условия Лежандра-Клебша [26, 27]. 1. Постановка задачи. Пусть (Ω, F, P ) - полное вероятностное пространство с определенными на нем неубывающим потоком σ-алгебр {F t , t ∈ [t0 , t1 ]}, вложенных в F = σ w(s), t0 s t , где w(t) - n-мерный стандартный винеровский процесс; L2F (t0 , t1 ; Rn ) - пространство измеримых по (t, ω) случайных процессов, x(t, ω) : [t0 , t1 ] : Ω → Rn , для которых t1 E x(t) 2 < +∞, t0 где E - знак математического ожидания. Предположим, что управляемый процесс на фиксированном отрезке времени T = [t0 , t1 ] описывается следующей системой стохастических дифференциальных уравнений с запаздыванием:1 dx(t) = f t, x(t), x(t - τ (t)), u(t) dt+ + σ t, x(t), x(t - τ (t)) dw(t), t ∈ (t0 , t1 ] , (1) с начальным условием x(t) = Φ(t), t ∈ Et0 = [t0 - τ (t0 ), t0 ) , x(t0 ) = x0 . (2) (3) Здесь x(t) ∈ L2F (t0 , t1 ; Rn ) - вектор состояния; f (t, x, y, u) - заданная n-мерная вектор-функция, непрерывная по совокупности переменных вместе с частными производными по (x, y, u) до второго порядка включительно, причем y(t) = x(t - τ (t)); σ(t, x, y) : T × Rn × Rn → Rn×n - (n × n)-мерная матричная функция, непрерывная по совокупности переменных вместе с частными производными по (x, y) до второго порядка включительно; τ (t) > 0 - непрерывно дифференцируемая скалярная функция, причем dτ (t)/dt < 1; Φ(t) ∈ L2F ((t0 - - τ (t0 ), t0 ; Rn ) - почти наверно (п.н.) непрерывная на Et0 начальная векторфункция; моменты t0 и t1 заданы. 1 Здесь и далее второй аргумент у функций x(t, ω) и u(t, ω) для компактности записи не пишется. 621 М а с т а л и е в Р. О. Пусть u(t, ω) ∈ Ud ≡ u(. , .) ∈ L2F (t0 , t1 ; Rr )/u(t, ω) ∈ U ⊂ Rr п.н. , (4) где U - заданное непустое ограниченное открытое множество. Назовем Ud множеством допустимых управлений. В дальнейшем предполагается, что каждому допустимому управлению u(t), t ∈ T соответствует единственное решение x(t) ∈ L2F (t0 , t1 ; Rn ) системы (1)-(3) с п.н. непрерывными траекториями. Целью управления является минимизация критерия качества (5) S(u) = E {ϕ(x(t1 ))} . Здесь ϕ(x) - заданная дважды непрерывно дифференцируемая скалярная функция. Допустимое управление u(t), доставляющее минимум функционалу (5) при ограничениях (1)-(4), назовем оптимальным управлением, а соответствующий процесс u(t), x(t) - оптимальным процессом. Целью данной работы является вывод конструктивно проверяемых условий оптимальности второго порядка в рассматриваемой задаче. 2. Вычисления первой и второй вариации критерия качества. Положим, что u(t), x(t) - фиксированный, а u(t) = u(t)+∆u(t), x(t) = x(t)+∆x(t) - произвольный допустимый процесс. Тогда ясно, что приращение траектории ∆x(t) будет удовлетворять системе d∆x(t) = d x(t) - x(t) = f (t, x(t), y(t), u(t)) - f (t, x(t), y(t), u(t)) dt+ + σ(t, x(t), y(t)) - σ(t, x(t), y(t)) dw(t), ∆x(t) = 0, t ∈ (t0 , t1 ] , (6) t ∈ {t0 } ∪ Et0 . (7) Приращение критерия качества (5) на этих управлениях можно записать в следующей форме: ∆S(u) = S(u) - S(u) = 1 = E ϕx (x(t1 ))∆x(t1 ) + ∆x (t1 )ϕxx (x(t1 ))∆x(t1 ) + o1 ( ∆x(t1 ) 2 ) . (8) 2 Пусть ψ(t) ∈ L2F (t0 , t1 ; Rn ) - случайный процесс, стохастический дифференциал которого имеет вид dψ(t) = α(t)dt + β(t)dw(t), где α(t) - n-мерная измеримая ограниченная функция, β(t) ∈ L2F (t0 , t1 ; Rn×n ). Тогда известно, что d ψ (t)∆x(t) = dψ (t)∆x(t) + ψ (t)d∆x(t)+ + β(t) σ(t, x(t), y(t)) - σ(t, x(t), y(t)) dt = = dψ (t)∆x(t) + ψ (t) 622 f (t, x(t), y(t), u(t)) - f (t, x(t), y(t), u(t)) dt+ Необходимые условия оптимальности второго порядка в одной стохастической задаче. . . + σ(t, x(t), y(t)) - σ(t, x(t), y(t)) dw(t) + + β(t) σ(t, x(t), y(t)) - σ(t, x(t), y(t)) dt. (9) Соотношение (9) получается с помощью формулы Ито [10-14]. С целью упрощения записи формул введем стохастический гамильтониан и следующие обозначения: H(t, x, y, u, ψ) = ψ f (t, x, y, u), Hy [t] = Hy (t, x(t), y(t), u(t), ψ(t)), Hxx [t] = Hxx (t, x(t), y(t), u(t), ψ(t)), Hyx [t] = Hyx (t, x(t), y(t), u(t), ψ(t)), Huy [t] = Huy (t, x(t), y(t), u(t), ψ(t)), fx [t] = fx (t, x(t), y(t), u(t)), fu [t] = fu (t, x(t), y(t), u(t)), σy [t] = σy (t, x(t), y(t)), Hx [t] = Hx (t, x(t), y(t), u(t), ψ(t)), Hu [t] = Hu (t, x(t), y(t), u(t), ψ(t)), Hxy [t] = Hxy (t, x(t), y(t), u(t), ψ(t)), Hux [t] = Hux (t, x(t), y(t), u(t), ψ(t)), Huu [t] = Huu (t, x(t), y(t), u(t), ψ(t)), fy [t] = fy (t, x(t), y(t), u(t)), σx [t] = σx (t, x(t), y(t)), σxx [t] = σxx (t, x(t), y(t)). Учитывая введенные обозначения, формулу (9) перепишем в следующей форме: d ψ (t)∆x(t) = dψ (t)∆x(t)+ + H(t, x(t), y(t), u(t), ψ(t)) - H(t, x(t), y(t), u(t), ψ(t)) dt+ + ψ (t) σ(t, x(t), y(t)) - σ(t, x(t), y(t)) dw(t)+ + β(t) σ(t, x(t), y(t)) - σ(t, x(t), y(t)) dt. (10) С учетом (7), (10) выражение (8) принимает следующий вид: 1 ∆S(u) = E ϕx (x(t1 ))∆x(t1 ) + ∆x (t1 )ϕxx (x(t1 ))∆x(t1 ) + o1 2 x(t1 ) 2 + t1 + ψ (t1 )∆x(t1 ) - dψ (t)∆x(t)- t0 t1 - H(t, x(t), y(t), u(t), ψ(t)) - H(t, x(t), y(t), u(t), ψ(t)) dt- t0 t1 - β(t) σ(t, x(t), y(t)) - σ(t, x(t), y(t)) dt . t0 Далее, используя формулу Тейлора, получим 1 ∆S(u) = E ϕx (x(t1 ))∆x(t1 ) + ∆x (t1 )ϕxx (x(t1 ))∆x(t1 ) + ψ (t1 )∆x(t1 )- 2 t1 - t1 dψ (t)∆x(t) - t0 t0 - 1 2 t1 Hx [t]∆x(t)dt - t1 Hy [t]∆y(t)dt - t0 t1 t1 ∆x (t)Hxx [t]∆x(t)dt + t0 Hu [t]∆u(t)dt- t0 ∆x (t)Hxy [t]∆y(t)dt+ t0 623 М а с т а л и е в Р. О. t1 t1 ∆y (t)Hyy [t]∆y(t)dt+ ∆y (t)Hyx [t]∆x(t)dt + + t0 t0 t1 t1 ∆u (t)Hux [t]∆x(t)dt+ ∆u (t)Huu [t]∆u(t)dt + 2 + t0 t0 t1 +2 ∆u (t)Huy [t]∆y(t)dt - t0 t1 - t1 β(t)σx [t]∆x(t)dt - β(t)σy [t]∆y(t)dt- t0 - 1 2 t0 t1 ∆x (t)β(t)σxx [t]∆x(t)dt - t0 - 1 2 1 2 t1 ∆y (t)β(t)σyy [t]∆y(t)dt- t0 t1 ∆x (t)β(t)σxy [t]∆y(t)dt- t0 - t1 1 2 ∆y (t)β(t)σyx [t]∆x(t)dt + η(∆u), (11) t0 где по определению η(∆u) = E o1 x(t1 ) 2 t1 - o2 ( x(t) + y(t) + u(t) )2 dt- t0 t1 - β(t) o3 ( x(t) + y(t) )2 dt . (12) t0 Здесь величины o2 ( . ) и o3 ( . ) определяются из соответствующих разложений: H(t, x(t), y(t), u(t), ψ(t)) - H(t, x(t), y(t), u(t), ψ(t)) = = Hx [t]∆x(t) + Hy [t]∆y(t) + Hu [t]∆u(t)+ 1 1 1 + ∆x (t)Hxx [t]∆x(t) + ∆x (t)Hxy [t]∆y(t) + ∆y (t)Hyx [t]∆x(t)+ 2 2 2 1 + ∆u (t)Hux [t]∆x(t) + ∆u (t)Huy [t]∆y(t) + ∆u (t)Huu [t]∆u(t)+ 2 + o2 ( x(t) + y(t) + u(t) )2 , σ(t, x(t), y(t)) - σ(t, x(t), y(t)) = 1 = σx [t]∆x(t) + σy [t]∆y(t) + ∆x (t)σxx [t]∆x(t)+ 2 1 1 + ∆x (t)σxy [t]∆y(t) + ∆y (t)σyx [t]∆x(t)+ 2 2 + o3 ( x(t) + y(t) )2 . Предположим, что случайные процессы ψ(t) ∈ L2F (t0 , t1 ; Rn ) и β(t) ∈ являются решением следующей системы стохастических диф- L2F (t0 , t1 ; Rn×n ) 624 Необходимые условия оптимальности второго порядка в одной стохастической задаче. . . ференциальных уравнений:   dψ(t) = - Hx [t] + (Hy [r(t)] + β(r(t))σy [r(t)])r(t) ˙ dt+    +β(t)dw(t), t ∈ [t0 , t1 - τ (t1 )) ,  dψ(t) = - H [t] + β(t)σ [t] dt + β(t)dw(t), t ∈ [t1 - τ (t1 ), t1 ) , x x   ψ(t ) = -ϕ (x(t )) , 1 x 1 (13) где r(t) - функция, обратная к γ(t) = t - τ (t). Систему (13) назовем стохастической сопряженной системой в рассматриваемой задаче. Отсюда, принимая во внимание (13), приращение функционала качества (11), соответствующее управлениям u(t) и u(t), с помощью очевидных преобразований может быть представлено в виде t1 ∆S(u) = E - Hu [t]∆u(t)dt + t0 1 ∆x (t1 )ϕxx (x(t1 ))∆x(t1 )- 2 t1 - ∆x (t) Hxx [t] + β(t)σxx [t] ∆x(t)dt- t0 t1 - ∆x (t) Hxy [t] + β(t)σxy [t] ∆y(t)dt- t0 t1 - ∆y (t) Hyx [t] + β(t)σyx [t] ∆x(t)dt- t0 t1 - ∆y (t) Hyy [t] + β(t)σyy [t] ∆y(t)dt- t0 t1 -2 t1 ∆u (t)Hux [t]∆x(t)dt - 2 t0 ∆u (t)Huy [t]∆y(t)dt- t0 t1 ∆u (t)Huu [t]∆u(t)dt - + η(∆u). (14) t0 В силу открытости области управления U специальное приращение допустимого управления u(t) можно определить по формуле ∆uε (t) = εδu(t), t ∈ T, (15) в которой ε - достаточное малое по абсолютной величине число, δu(t) ∈ L2F (t0 , t1 ; Rr ) - произвольная вектор-функция (вариация управления). Обозначим через ∆xε (t) специальное приращение траектории x(t), t∈ T , отвечающее приращению (15) допустимого управления u(t), t ∈ T . Из (6), используя формулу Тейлора, по схеме, например, работ [20, 25] получаем справедливость следующего утверждения. Лемма 1. Для специального приращения ∆xε (t) траектории x(t) системы (1)-(3) имеет место разложение ∆xε (t) = εδx(t) + o(ε; t), (16) 625 М а с т а л и е в Р. О. где δx(t) ∈ L2F (t0 , t1 ; Rn ) (вариация траектории), являющееся решением задачи dδx(t) = fx [t]δx(t) + fy [t]δy(t) + fu [t]δu(t) dt+ + σx [t]δx(t) + σy [t]δy(t) dw(t), t ∈ {t0 } ∪ Et0 . δx(t) = 0, t ∈ (t0 , t1 ] , (17) Стохастические дифференциальные уравнения (17), которым удовлетворяют вариации δx(t), называются уравнениями в вариациях [24]. Приведем еще одно утверждение, которое понадобится нам в дальнейшем. Лемма 2 [16]. Решение уравнения (17) можно представить в виде t δx(t) = R(t, s)δu(s)ds, (18) t0 где по определению R(t, s) = Q(t, s)fu [s]. Здесь фундаментальная матрица Q(t, s) является решением однородного уравнения dQ(t, s) = fx [t]Q(t, s) + fy [t]Q(γ(t), s) dt+ + σx [t]Q(t, s) + σy [t]Q(γ(t), s) dw(t), Q(t, t) = I, Q(t, s) = 0, s > t, I - единичная матрица. С учетом (12), (15), (16) и согласно обычной схеме [20, 25] в формуле приращения (14) доказывается, что первая и вторая (в классическом смысле) вариация функционала качества имеют вид δ 1 S(u; δu) = -E t1 Hu [t]δu(t)dt, t0 δ 2 S(u; δu) = E δx (t1 )ϕxx (x(t1 ))δx(t1 )- t1 - δx (t) Hxx [t] + β(t)σxx [t] δx(t)dt- t0 t1 - δx (t) Hxy [t] + β(t)σxy [t] δy(t)dt- t0 t1 - δy (t) Hyx [t] + β(t)σyx [t] δx(t)dt- t0 626 Необходимые условия оптимальности второго порядка в одной стохастической задаче. . . t1 δy (t) Hyy [t] + β(t)σyy [t] δy(t)dt- - t0 t1 t1 δu (t)Huy [t]δy(t)dt- δu (t)Hux [t]δx(t)dt - 2 -2 t0 t0 t1 - δu (t)Huu [t]δu(t)dt . t0 3. Конструктивно проверяемые необходимые условия оптимальности. Пусть u(t), x(t) - оптимальный процесс. Тогда для всех δu(t) ∈ L2F (t0 , t1 ; Rr ), согласно результатам вариационного исчисления (см. напр. [24-26]), первая вариация функционала (5) равняется нулю, а вторая - неотрицательна: δ 1 S(u; δu) = 0, δ 2 S(u; δu) 0. Таким образом, вдоль оптимального процесса (u(t), x(t)) для всех δu(t) ∈ L2F (t0 , t1 ; Rr ) t1 Hu [t]δu(t)dt = 0, E (19) t0 t1 E δx (t1 )ϕxx (x(t1 ))δx(t1 ) - δx (t) Hxx [t] + β(t)σxx [t] δx(t)dt- t0 t1 - δx (t) Hxy [t] + β(t)σxy [t] δy(t)dt- t0 t1 δy (t) Hyx [t] + β(t)σyx [t] δx(t)dt- - t0 t1 - δy (t) Hyy [t] + β(t)σyy [t] δy(t)dt- t0 t1 -2 t1 δu (t)Hux [t]δx(t)dt - 2 t0 δu (t)Huy [t]δy(t)dt- t0 t1 - δu (t)Huu [t]δu(t)dt 0. (20) t0 Из (19) по схеме, например из [27], получаем, что вдоль оптимального процесса u(t), x(t) соотношение EHu [θ] = 0 (21) выполняется почти для всех θ ∈ [t0 , t1 ) .2 Сформулируем полученный результат в виде теоремы. Теорема 1. Для оптимальности допустимого управления u(t) в задаче (1)-(5) необходимо, чтобы почти для всех θ ∈ [t0 , t1 ) выполнялось равенство (21). 2 Здесь и далее θ ∈ [t0 , t1 ) - произвольная точка Лебега управления u(t). 627 М а с т а л и е в Р. О. Условие оптимальности (21) является стохастическим аналогом уравнения Эйлера для рассматриваемой задачи и представляет собой необходимое условие оптимальности первого порядка. Каждое допустимое управление u(t), удовлетворяющее уравнению Эйлера (21), следуя, например, [25], будем называть классической экстремалью задачи (1)-(5). Следовательно, справедлива следующая Теорема 2. Для оптимальности классической экстремали u(t), t ∈ T в задаче (1)-(5) необходимо, чтобы неравенство (20) выполнялось для всех δu(t) ∈ L2F (t0 , t1 ; Rr ). Как видно, неравенство (20) есть необходимое условие оптимальности второго порядка и является трудно проверяемым условием. Однако использование неравенства (20) может дать конструктивно проверяемые необходимые условия оптимальности второго порядка. Представление (18) позволяет получить следующие преобразования для некоторых членов формулы (20), которые будут использоваться в дальнейшем: δx (t1 )ϕxx (x(t1 ))δx(t1 ) = t1 t1 = t0 δu (s)R(t1 , s)ϕxx (x(t1 ))R(t1 , ξ)δu(ξ)dsdξ, (22) t0 t1 δx (t) Hxx [t] + β(t)σxx [t] δx(t)dt = t0 t1 t1 = t1 δu (s) t0 t0 R(t, s) Hxx [t] + β(t)σxx [t] R(t, ξ)dt δu(ξ) dξds, max(s,ξ) (23) t1 δx (t) Hxy [t] + β(t)σxy [t] δy(t)dt = t0 t1 t1 t1 = δu (s) t0 t0 R(t, s) Hxy [t]+β(t)σxy [t] R(γ(t), ξ)dt δu(ξ) dξds, max(s,ξ) (24) t1 δy (t) Hyx [t] + β(t)σyx [t] δx(t)dt = t0 t1 t1 = t0 628 t1 δu (τ ) t0 R(γ(t), s) Hyx [t]+β(t)σyx [t] R(t, ξ)dt δu(ξ) dξds, max(s,ξ) (25) Необходимые условия оптимальности второго порядка в одной стохастической задаче. . . t1 δy (t) Hyy [t] + β(t)σyy [t] δy(t)dt = t0 t1 t1 t1 δu (s) = t0 t0 R(γ(t), s) Hyy [t]+β(t)σyy [t] R(γ(t), ξ)dt δu(ξ) dsdξ, max(s,ξ) (26) t1 t1 t1 δu (s)Hux [s]R(s, t)ds δu(t) dt, δu (t)Hux [t]δx(t)dt = t0 t0 t1 t1 t1 δu (t)Huy [t]δy(t)dt = t0 t0 (27) t δu (s)Huy [s]R(γ(s), t)ds δu(t) dt. (28) t Положим K(s, ξ) = R(t1 , s)ϕxx (x(t1 ))R(t1 , ξ)+ t1 + R(t, s) Hxx [t] + β(t)σxx [t] R(t, ξ)+ max(s,ξ) + R(t, s) Hxy [t] + β(t)σxy [t] R(γ(t), ξ)+ + R(γ(t), s) Hyx [t] + β(t)σyx [t] R(t, ξ)+ + R(γ(t), s) Hyy [t] + β(t)σyy [t] R(γ(t), ξ) dt. (29) Учитывая тождества (22)-(29), из (20) получаем неравенство вида t1 t1 E t1 δu (s)K(s, ξ)δu(ξ)dsdξ + t0 t0 δu (t)Huu [t]δu(t)dt+ t0 t1 t1 +2 δu (s) Hux [s]R(s, t) + Huy [s]R(γ(s), t) ds δu(t)dt t0 0. (30) t Теорема 3 (Необходимое условие оптимальности второго порядка). Для оптимальности классической экстремали u(t), t ∈ T в задаче (1)-(5) необходимо выполнение неравенства (30) для всех δu(t) ∈ L2F (t0 , t1 ; Rr ). Отметим, что детерминированный аналог матричной функции K(s, ξ) впервые введен в работах К. Б. Мансимова [20, 21]. Ясно, что условие (30) является общим интегральным необходимым условием оптимальности классической экстремали. Но использование различных специальных вариаций управления в этом условии может дать целый ряд легче проверяемых необходимых условий оптимальности, в частности, стохастический аналог условия Лежандра-Клебша. Следствие 1 (Стохастический аналог условия Лежандра-Клебша). Для оптимальности классической экстремали u(t), t ∈ T в задаче (1)-(5) необходимо, чтобы неравенство Eu Huu [θ]u 0, (31) 629 М а с т а л и е в Р. О. выполнялось почти для всех θ ∈ [t0 , t1 ) и u ∈ Rr . Для доказательства неравенства (31) достаточно вариацию управления δu(t) в (30) определить по формуле   0, t ∈ [t0 , θ) , δuµ (t) = v, t ∈ [θ, θ + µ) , (32)  0, t ∈ [θ + µ, t ] , 1 где v ∈ U , θ ∈ [t0 , t1 ), а µ > 0 - достаточно малое число. Следствие 2. Для оптимальности классической экстремали u(t), t ∈ T в задаче (1)-(5) необходимо, чтобы выполнялось неравенство t1 t1 E v t1 K(s, ξ)dsdξ t0 + t0 Huu [t]dt+ t0 t1 t1 + 2v Hux [s]R(s, t) + Huy [s]R(γ(s), t) ds dt t0 0 t для всех v ∈ Rr . Следствие 3. Если u(t) - скалярное управление, то для его оптимальности в задаче (1)-(5) необходимо, чтобы выполнялось неравенство t1 t1 E t1 K(s, ξ)dsdξ + t0 t0 Huu [t]dt+ t0 t1 t1 +2 Hux [s]R(s, t) + Huy [s]R(γ(s), t) ds dt t0 0. t Отметим, что не исключена также возможность вырождения аналога условия Лежандра-Клебша, т.е. его выполнение тривиальным образом. Определение [25]. Если вдоль классической экстремали u(t), t ∈ T условие Ev Huu [θ]v = 0 выполняется почти для всех θ ∈ [t0 , t1 ) и v ∈ Rr , то u(t) называется особым в классическом смысле управлением. Необходимое условие оптимальности (30) позволяет получить необходимые условия оптимальности особых в классическом смысле управлений. Считая u(t) особым в классическом смысле оптимальным управлением и применяя формулу (32), из неравенства (30) получим E v K(θ, θ) + Hux [θ]R(θ, θ) v 0. Отсюда в силу R(θ, θ) = fu [θ] сразу следует, что неравенство Ev K(θ, θ) + Hux [θ]fu [θ] v 630 0 (33) Необходимые условия оптимальности второго порядка в одной стохастической задаче. . . выполняется почти для всех θ ∈ [t0 , t1 ) и v ∈ U . Следовательно, доказано следующее утверждение. Теорема 4. Для оптимальности особого в классическом смысле управления u(t) в задаче (1)-(5) необходимо, чтобы неравенство (33) выполнялось для всех v ∈ U и θ ∈ [t0 , t1 ) . Заключение. C применением стохастического аналога модификации метода приращений вычислены первая и вторая вариации функционала качества в задаче стохастического оптимального управления систем с запаздывающим аргументом. С их помощью сформулированы и доказаны необходимые условия оптимальности первого и второго порядков, в том числе ряд конструктивно проверяемых следствий. Полученные результаты являются новыми и носят теоретический характер. Они могут быть эффективно применены в конкретных задачах стохастического управления, описываемых системой дифференциальных уравнений с запаздывающим аргументом. Декларация о финансовых и других взаимоотношениях. Исследование не имело спонсорской поддержки. Автор несет полную ответственность за предоставление окончательной версии рукописи в печать. Окончательная версия рукописи была одобрена автором. Автор не получал гонорар за статью.

About the authors

Rashad oglu Mastaliyev

Institute of Control Systems, Azerbaijan National Academy of Sciences

Email: mastaliyevrashad@gmail.com
(Ph.D. (Mathematics); mastaliyevrashad@gmail.com), Leading Researcher, Management in Complex Dynamic Systems Laboratory 9, B. Vahabzade st., Baku, AZ1141, Azerbaijan

References

Supplementary files