The Effectiveness of the A2C Algorithm in Relation to Classical Models of the Theory of Economic Growth

Full Text

ВВЕДЕНИЕ. ПОСТАНОВКА ЗАДАЧИ

Обучение с подкреплением – новая, быстро развивающаяся область машинного обучения. Оно основывается на марковских процессах принятия решений, в которых агент стремится максимизировать награды, которые получает в некоторой среде. Существуют различные алгоритмы обучения с подкреплением. В исследовании будет применен алгоритм A2C [4] (advantageous actor-critic), для того чтобы оптимизировать следующие модели экономического роста:

• модель Солоу (оригинал [7]);
• модель Ромера (оригинал [6]);
• Шумпетерианская модель (оригинал [1]).

Применение обучения с подкреплением для оптимизации экономических процессов пока не получило большого распространения. При анализе литературы предметной области наибольший интерес представляют работы С. Чжэна и др. [8] и Т. Аташбара, Ши Р. Арухана [2]. Первая работа посвящена определению оптимальной налоговой ставки в зависимости от дохода агента. Вторая – оптимизации параметров доли времени, затрачиваемого на работу, нормы сбережения и изменения в позиции по облигациям в модели реального делового цикла. Однако пока что никто не рассматривал, насколько хорошо обучение с подкреплением справляется с традиционными моделями экономического роста.

Целью исследования является анализ адекватности алгоритма A2C применительно к оптимизации экономических процессов. Актуальность исследования состоит в выявлении эффективности A2C, а конкретно того, насколько точной является оценка, полученная алгоритмом. Также актуальность обуславливается необходимостью верификации обучения с подкреплением при работе с оптимизацией экономических процессов.

Необходимо отметить, что обучение с подкреплением – обширная область, в которой существует большое количество алгоритмов. Применить все алгоритмы не представляется возможным, в силу их огромного количества. Алгоритм A2C и его реализация, указанная далее, были выбраны исходя из нескольких условий. Во-первых, они показывают хорошую работоспособность. Во-вторых, алгоритм является сравнительно простым в имплементации. Наконец, он (при текущей реализации), как правило, сходится к значениям, соответствующим здравому смыслу и логике модели. К сожалению, не все алгоритмы могут похвастаться тем же самым. Так, кросс-энтропийный метод при стохастической задаче будет сходиться к определенному значению. К сожалению, это значение неустойчиво, и при повторном обучении оно может быть совсем иным, в то время как последующая реализация алгоритма A2C при стохастической задаче приводит лишь к более высокой дисперсии оптимизируемого параметра.

1. СПЕЦИФИКА РЕАЛИЗАЦИИ A2C

На первом шаге необходимо определить архитектуру так называемой нейронной сети. Поскольку в рассмотренных в статье экономических задачах от входных данных ничего не зависит, то есть, пространство состояний не влияет на действия, которые принимаются экономическим агентом, так как действие принимается одно для всех и каждого времени t ∈ {1, 2, … , Т}, то оптимизируется два параметра: θ (размерности 2), θ_ν (размерности 1). Оба скаляра, принадлежащих вектору θ, преобразуются по формуле f(x) = e^x, чтобы исключить отрицательные значения, и далее подаются на вход Бета-распределения, которое генерирует действия a экономического агента на отрезке [0, 1]. Действия будут включать в себя норму потребления или сбережения, и долю ученых в экономике для модели Ромера или Шумпетерианской модели эндогенного экономического роста.

Реализация алгоритма A2C включает в себя два параметра θ и θ_ν. Первый из них отвечает за параметризацию Бета-распределения. Второй же предсказывает награды, которые получит агент в сумме за T временных промежутков. В этом и есть суть всех актор-критик методов. Актор совершает действия, критик отвечает за предсказание того, насколько хорошее действие актор совершил.

Таким образом, оптимизируются следующие функции потерь, которые выглядят следующим образом:

$\nabla J\left(\theta \right)={\nabla }_{\theta }\log {\pi }_{\theta }\left(a\right)A^{{\pi }_{{\theta }_v}}\left(a\right);$ (1)

$\nabla L\left({\theta }_v\right)={\nabla }_{{\theta }_v}{\left(A^{{\pi }_{{\theta }_v}}\left(a\right)\right)}^2,$ (2)

где A^πθν – преимуществом (advantage),

$A^{{\pi }_{{\theta }_v}}\left(a\right)=R\left(a\right)-V^{{\pi }_{{\theta }_v}},$ (3)

где ∇J(θ) – производная функции потерь, связанной с оптимизацией действий актора, по θ;

∇L(θ_ν) – производная функции потерь, связанной с оптимизацией оценки критиком действий актора, по θ_ν;

R(a) – награды, которые получает в зависимости от совершенного действия агент;

V^πθν – оценка наград с помощью параметра θ_ν.

Оптимизация происходит таким образом, что J(θ) устремляется к максимуму, а L(θ_ν) – к минимуму.

Для корректного обучения был применен батч размером в 100 экземпляров. Для того, чтобы не возникли слишком большие градиенты, для значений, полученных с помощью формулы (3), была проведена нормализация по следующей формуле:

$A^{{\pi }_{{\theta }_v}}=\frac{A^{{\pi }_{{\theta }_v}}-{\overline{A}}^{{\pi }_{{\theta }_v}}}{{\sigma }_{A^{{\pi }_{{\theta }_v}}}+{10}^{-8}},$

где σ̂_Aπθν – оцененное стандартное отклонение A^πθν;

A̅^πθν – среднее значение.

Большие градиенты пагубно влияют на процесс обучения. В частности, из-за них параметры обновляются слишком быстрыми скачками, что приводит к нестабильности обучения.

Реализация алгоритма обучения, оригинал которого был впервые определен в работе Дж. Питерса и С. Шаала [4], представлена ниже, где E – это количество эпох. Количество эпох – важная составляющая процесса обучения всех нейронных сетей и является показателем того, сколько раз алгоритм проходит по всем данным, считая и обновляя градиенты.

Алгоритм 1. Алгоритм A2C для решения рассмотренных далее экономических задач

Инициализация параметров модели

θ = (0, 0), θ_ν = 1;

Пока эпоха < E:

Инициализация начального состояния

s0;

R ← 0, dθ ← 0, dθ_ν ← 0;

Выполнить a в соответствии

со стратегией π_θ(a);

Пока t < T:

R ← R + r_t(a, s_t);

Получить состояние s_{t + 1};

Конец цикла.

Посчитать градиенты применительно

к функциям потерь (1), (2);

Обновить параметры модели.

Конец цикла.

К сожалению, всего, перечисленного выше, недостаточно для успешного обучения. Дело в том, что оптимизатор будет крайне долго сходиться к оптимальным параметрам. Для того, чтобы существенно увеличить эффективность обучения, необходимо применить естественные градиенты. Для решения этой проблемы обратимся к исследованию С.М. Какаде [3], предложившего их в обучении с подкреплением и уже упомянутой работе Дж. Питерса и С. Шаала [5], обосновывающее эффективность естественных градиентов в обучении с подкреплением, которое было написано лишь 7 лет спустя. На рис. 1 наглядно продемонстрировано, как естественные градиенты помогают обучению сходиться к оптимальным параметрам.

 

Рис. 1. Простой градиент (а) рассматривает изменение всех параметров как одинаково удаленное, таким образом, это поиск максимума на окружности, в то время как естественный градиент (b) использует масштабы, определенные информацией Фишера, что приводит к более высокой эффективности разведки. Более медленное сокращение объемов разведки приводит к более быстрому переходу к оптимальной стратегии [5]

Fig. 1. A vanilla policy gradient (a) considers a change in all parameters as equally distant, thus, it is a search for a maximum on a circle while the natural gradient (b) uses scales determined by the Fisher information which results in a reduction in exploration. The slower reduction in exploration results into a faster convergence to the optimal policy [5]

 

Идея естественных градиентов состоит в их умножении на обратную матрицу Фишера:

${\theta }^{\text{'}}=\theta +\alpha F^{-1}{\nabla }_{\theta }J\left(\theta \right),$ (4)

где θ – параметры модели;

α – параметр, характеризующий скорость обучения;

F – матрица Фишера;

J(θ) – функция потерь.

Описанный метод был применен для оптимизации модели Солоу, модели Ромера и Шумпетерианская модели эндогенного экономического роста.

2. ОПТИМИЗАЦИЯ МОДЕЛЕЙ

Оптимизация экономических процессов – очень распространенный феномен в экономической науке. Примеры оптимизации можно найти как в микроэкономике, так и в макроэкономике. Оптимизация сводится к тому, что на некотором промежутке некоторая целевая функция должна достигать экстремума. Однако довольно часто целевая функция принимает на вход несколько подфункций, каждая из которых по-своему влияет на экономического агента. Так, некоторый агент может быть заинтересован в устройстве на работу в силу того, что работа помогает увеличить потребление с помощью заработной платы. С другой стороны, зачастую агент не заинтересован тратить все свое время на работу, поскольку совсем не останется свободного.

Подобные задачи хорошо решаются с помощью обучения с подкреплением. Однако для того, чтобы обучение могло произойти, необходимо чтобы награды агента, пространство состояний и пространство действий выражались численно. С этой точки зрения макроэкономическая теория роста подходит идеально. В ней существует большое количество задач, которые можно рассматривать как оптимизационные. С другой стороны, некоторые из них могут быть решены аналитически. Отсюда вытекает, обучение с подкреплением должно стать одним из способов решения подобного рода задач. Проверим это на практике.

Начнем исследование с модели Солоу, которая является основополагающей, далее перейдем к модели Ромера, и закончим исследование Шумпетерианской моделью.

2.1. Модель Солоу

Модель Солоу – классическая модель экономического роста. Ее формализация с производственной функцией Кобба–Дугласа представлена следующим образом:

Y_t = K_t^α(A_tL_t)^{1 – α},

где Y_t – доход за момент времени t;

K_t – капитал в экономике в момент времени t;

L_t – трудовые ресурсы в экономике в момент времени t;

A_t – научно-технический прогресс в момент времени t.

Для перехода к новым переменным, разделим предыдущее уравнение на (A_tL_t), что ỹ_t = Y_t/A_tL_t, а k̃_t = K_t/A_tL_t, тогда

ỹ_t = k̃_t^α.

Смысл ỹ_t заключается в объеме дохода на единицу эффективного труда, а k̃_t – объем капитала на единицу эффективного труда. Уравнение, связывающее прирост капитала на единицу эффективного труда с объемом дохода на единицу эффективного труда:

k̃_t = (1 – c)ỹ_t – (δ + g + n)k̃_t,

где c – норма потребления;

δ – амортизация капитала;

g – темп роста научно-технического прогресса;

n – темп роста численности рабочей силы.

Единственное важное различие с оригинальной моделью Солоу в том, что в этой, вместо нормы сбережения s, используется норма потребления c. На деле, при применении обучения с подкреплением не имеет значения, какой параметр оптимизируется – норма потребления или норма сбережения, поскольку они связаны четким взаимоотношением c = 1 – s. Оба параметра находятся в промежутке [0, 1].

С точки зрения домохозяйств, необходимо оптимизировать норму потребления с так, чтобы потребление, суммированное по всем периодам, было максимальным. Соответственно, оптимизационная задача звучит следующим образом:

$\sum _{t=1}^{T}c{\tilde{y}}_t\to \underset{c}{\max }.$

В отличие от классической задачи, где берется максимум

$\underset{s}{\max }C\left[{\tilde{k}}_{ }\left(s\right)\right],$

при условии, что

$\begin{array}{c}C\left[{\tilde{k}}_{ }\left(s\right)\right]=\left(1-s\right)y=f\left[\tilde{k}\left(s\right)\right]-sf\left[\tilde{k}\left(s\right)\right]=\\ =f\left[\tilde{k}\left(s\right)\right]-\left(\delta +g+n\right)\tilde{k}\left(s\right).\end{array}$

Аналитическое решение для нормы сбережения представлено степенью α, значит, c = 1 – α. Это общее решение для модели с производственной функцией Кобба-Дугласа. Что касается частного решения, полученного с помощью обучения с подкреплением, то для него необходимо задать начальные параметры. Предположим, k₀ = 1, α = 0,3, а T = 100. Первый начальный параметр был выбран на таком уровне, чтобы вывести систему из равновесия. Второй параметр был задан исключительно ради примера, он варьировался от обучения к обучению, для того чтобы выявить, насколько среднее значение бета-распределения на выходе отличается от значения, рассчитанного по формуле. О третьем параметре будет написано далее. На рис. 2 продемонстрирована сходимость результатов по мере обучения модели примерно к 0,7. Среднее для бета-распределения, которое стоит на выходе модели, составляет 0,7132.

 

Рис. 2. Динамика значений нормы потребления по мере обучения модели за 30 000 эпох

Fig. 2. The dynamics of consumption rate values as the model is trained over 30 000 epochs

 

Необходимо отметить, что дробная часть среднего для бета-распределения после первого знака после запятой, которая не позволяет выстроить равенство между 0,7132 и 0,7, получилась в результате, что период, на котором происходит максимизация потребления, во-первых, конечномерен, а во-вторых, набор норм потребления, приводящих к оптимальному исходу обширен – чуть меньше десятой части единицы. Соответственно, если мы будем устремлять данный период к бесконечности, то и дробная часть постепенно будет снижаться. Однако она все равно будет флуктуировать около 0,7 в результате того, что получить точечную оценку с помощью нейронных сетей затруднительно.

На рис. 3а продемонстрирована зависимость оптимальной нормы потребления от выбранного параметра общего количества временных периодов. Дело в том, что при малых значениях T агентам действительно, чтобы достичь максимума, необходимо потреблять близкую к единице долю дохода. На рис. 3b показано, что, при Т = 100, оптимальное значение Т составляет 0,714. Это очень близкий показатель к 0,7132.

 

Рис. 3. Оптимальное значение нормы потребления: а – зависимость нормы потребления с от общего количества временных периодов T (логарифмическая шкала); b – зависимость совокупной награды от нормы потребления для общего количества временных периодов T на уровне 100

Fig. 3. The optimal value of the consumption rate: a – is the dependence of the consumption rate c on the total number of time periods T (logarithmic scale); b – is the dependence of the total reward on the consumption rate for the total number of time periods T at the level of 100

 

Если варьировать параметр α в модели, то, в любом случае, при T > 100, норма потребления будет примерно равна 1 – α. Это является неполной индукцией. Вообще говоря, невозможность вывода аналитического решения – это цена, которую приходится платить в моделях обучения с подкреплением.

Выводы для модели Солоу

Реализация алгоритма A2C, представленная в предыдущем разделе, замечательно справилась с задачей оптимизации нормы потребления в модели Солоу. Тем не менее, для конечных, малых T норма потребления может оказаться относительно далеко от значения, полученного аналитически. Рекомендуется ставить T на уровне 1000, чтобы значение для нормы потребления соответствовало ему. С другой стороны, значение T влияет на вычислительную сложность прогона одной эпохи, это, в свою очередь, накладывает ограничения на возможные T.

2.2. Модель Ромера

Модель Ромера – другая классическая модель теории экономического роста. Так же, как и в модели Солоу население (L) растет экспоненциально с постоянным темпом n. Капитал (K) выбывает с нормой выбытия (δ), и прирастает с темпом, равным норме сбережения (s_K), умноженной на объем дохода в экономике (Y). Модель предполагает эндогенный экономический рост, который прирастает с учетом некоторых постоянных величин: 0 < λ < 1, интерпретируемой как наличие внешних эффектов, связанных с повторением идей, 0 ≤ φ < 1, интерпретируемой как наличие положительных внешних эффектов, связанных с воздействием существующих открытий на новые, θ – константа. Также S_R интерпретируется как доля ученых в экономике. Динамика состояний системы представлена следующим образом:

L̇_t = L_tn;

Ȧ_t = θ(s_RL_t)^λA_t^φ;

K̇_t = s_KY_t – δK_t;

Y_t = K_t^α(A_t(1 – s_R)L_t)^{1 – α}.

Пусть K₀ = 1, A₀ = 1, L₀ = 1, α = 0,5, δ = 0,15, θ = 1, λ = 0,1, φ = 0,1, n = 0,05, T = 100. Сформулируем многокритериальную задачу. Будем одновременно оптимизировать S_K и S_R. Первый параметр будет оптимизироваться в результате максимизации потребления домохозяйств в экономике за T временных периодов. Второй параметр – в результате максимизации подушевого дохода в экономике за T периодов. Формализация многокритериальной задачи выглядит следующим образом:

$\begin{array}{c}\underset{}{\overset{}{\sum _{t=1}^T}}\left(1-s_K\right)Y_t\to \underset{s_K}{\max };\\ \underset{}{\overset{}{\sum _{t=1}^T}}\frac{Y_t}{L_t}\to \underset{s_R}{\max }.\end{array}$

На рис. 4 показано, что дисперсии оценок для параметров s_R и s_K являются достаточно малыми. Это хороший показатель, который означает, что оптимизационная модель хорошо справляется со своей задачей.

 

Рис. 4. Динамика оптимизируемых параметров при обучении нейронной сети за 60 000 эпох: а – разброс значений нормы сбережения по мере обучения модели для T = 100; b – разброс значений нормы ученых в экономике по мере обучения модели для T = 100

Fig. 4. Dynamics of optimized parameters during neural network training over 60 000 epochs: а – the spread of the savings rate values as the model is trained for T = 100; b – the spread of the values of the norm of scientists

 

Оптимальное значение для s_K совпадает с решением для s в модели Солоу и равно α (оптимальное значение 0,5041, полученное оптимизационной моделью, против оптимального значения 0,50, полученного аналитическим решением). Формула для оптимального значения для s_R, выведенная аналитически для модели Ромера, будет иметь вид:

$s_R=\frac{\lambda }{1-\phi +\lambda }.$ (5)

При текущей инициализации параметров, s_R = 0,10. Примерно то же решение получается с помощью нейронных сетей (0,1047). В силу того, что существуют иные формулы для s_R, необходимо подробно расписать, каким образом выводится указанное выше аналитическое решение. Начнем с того, что:

$\frac{\dot{A}}{A}=\theta \frac{{\left(s_{R}L\right)}^{\lambda }}{A^{1-\phi }}.$ (6)

Также на траектории сбалансированного роста Ȧ/A ≡ g_A. Соответственно,

$0=\lambda \left(\frac{{\dot{s}}_R}{s_R}+\frac{\dot{L}}{L}\right)-\left(1-\phi \right)\frac{\dot{A}}{A}.$

Отсюда, поскольку в устойчивом состоянии ṡ_R/s_R = 0,

$\frac{\dot{A}}{A}=\frac{\lambda n}{1-\phi }.$ (7)

Объединим (6) и (7):

$\theta \frac{{\left(s_{R}L\right)}^{\lambda }}{A^{1-\phi }}=\frac{\lambda n}{1-\phi }.$

Отсюда найдем оптимальное A:

$A^{*}={\left(\frac{\theta \left(1-\phi \right)}{\lambda n}\right)}^{\frac{1}{1-\phi }}{\left(s_{R}L\right)}^{\frac{\lambda }{1-\phi }}.$ (8)

Как известно,

${\left(\frac{K}{Y}\right)}^{*}=\frac{s_K}{\delta +g+n}=\frac{s_K}{\delta +\frac{\lambda n}{1-\phi }+n};$ (9)

$\begin{array}{c}\frac{Y}{L_y}={\left(\frac{K}{Y}\right)}^{\frac{\alpha }{1-\alpha }}A;\\ \frac{Y}{L}=\left(1-s_R\right){\left(\frac{K}{Y}\right)}^{\frac{\alpha }{1-\alpha }}A.\end{array}$ (10)

Вставим в (10) формулы (8) и (9). Получится, что

$\begin{array}{c}{\left(\frac{Y}{L}\right)}^{\ast }=\left(1-s_R\right){\left(\frac{s_K}{\delta +\frac{\lambda n}{1-\phi }+n}\right)}^{\frac{\alpha }{1-\alpha }}\times \\ \times {\left(\frac{\theta \left(1-\phi \right)}{\lambda n}\right)}^{\frac{1}{1-\phi }}{\left(s_{R}L\right)}^{\frac{\lambda }{1-\phi }}.\end{array}$

Итак, взяв производную по s_R, получим, что:

$s_R=\frac{\lambda }{1-\phi +\lambda }.$ (11)

Так выводится доля ученых в экономике. Перепробовав несколько вариантов для φ и λ, выяснилось, что частное решение, полученное с помощью нейронных сетей, отличается от аналитического всего на несколько тысячных долей. Полученный вывод основан на неполной индукции, что, разумеется, не может объективно претендовать на обобщение, однако не было выявлено условий, при которых выводы, основанные на индукции, в данном случае бы были неверны.

Выводы для модели Ромера

Модель Ромера показала себя хорошо, в частности, даже при малых T, получаются близкие к истинным значениям. Более того, дисперсия оценки невысокая. Тем не менее, все равно рекомендуется ставить T на уровне 1000, чтобы среднее для бета-распределения наиболее точно соответствовала значениям, полученным с помощью аналитического решения.

2.3. Шумпетерианская модель эндогенного экономического роста

Перейдем теперь к Шумпетерианской модели эндогенного экономического роста. Будем ее рассматривать в дискретном виде. Трудовые ресурсы в экономике растут следующим образом:

L_{t + 1} = L_t(1 + n),

где n – темп роста трудовых ресурсов. Далее с некоторой вероятностью происходит научно-технический прогресс.

$A_{t+1}=\left\{\begin{array}{l}\left(1+\gamma \right)A_t,p_t;\\ A_t,1-p_t,\end{array}\right.$

где γ – темп роста A с момента появления предыдущего изобретения до нового открытия. Вероятность, с которой происходит научно-технический прогресс определяется следующим образом:

$p_t=\theta \frac{{\left(s_R{L}_t\right)}^{\lambda }{A}_t^{\phi }}{A_t}.$

Совокупный доход в экономике в зависимости от научно-технического прогресса (A), объема капитала (K) и трудовых ресурсов в экономике (L), а также доли ученых в экономике (s_R) рассчитывается по формуле Кобба–Дугласа, представленной ниже.

Y_t = K_t^α(A_t(1 – s_R)L_t)^{1 – α}.

Капитал растет следующими темпами:

K_{t + 1} = s_KY_t – δK_t.

Инициализируем модель со следующими параметрами: K₀ = 1, A₀ = 1, L₀ = 1, α = 0,5, δ = 0,15, γ = 0,3, θ = 0,2, λ = 0,3, φ = 0,5, n = 0,05, T = 1000. Как и в предыдущей модели, сформулируем многокритериальную задачу. Будем одновременно оптимизировать s_R и s_K для максимизации совокупного подушевого дохода и объема потребления для домохозяйств в экономике.

$\begin{array}{c}\underset{}{\overset{}{\sum _{t=1}^T}}\frac{Y_t}{L_t}\to \underset{s_R}{\max };\\ \underset{}{\overset{}{\sum _{t=1}^T}}\left(1-s_K\right)Y_t\to \underset{s_K}{\max }.\end{array}$

На рис. 5а продемонстрировано, что для нормы сбережения обучение сошлось к некоему результату. Среднее для этого бета-распределения составляет 0,4995. На рис. 5b показано, что и для нормы ученых в экономике обучение сошлось. Среднее для бета-распределения на выходе составило 0,3753 против 0,375 по аналитическому решению, которое представлено формулой

$\frac{\lambda }{1-\phi +\lambda }.$

 

Рис. 5. Динамика оптимизируемых параметров при обучении нейронной сети за 60 000 эпох: а – разброс значений нормы сбережения по мере обучения модели для T = 1000; b – разброс значений нормы ученых в экономике по мере обучения модели для T = 1000

Fig. 5. Dynamics of optimized parameters during neural network training over 60 000 epochs: а – the spread of the savings rate values as the model is trained for T = 1000; b – the spread of the values of the norm of scientists in

 

Следует пояснить, как для модели получается аналитическое решение. Дело в том, что, вместо темпов роста экономики Ȧ/A, берется их математическое ожидание:

$E\left[\frac{\dot{A}}{A}\right]=\gamma \theta \frac{{\left(s_{R}L\right)}^{\lambda }}{A^{1-\phi }}.$ (12)

Далее математическое ожидание, представленное на формуле (12), приравнено формуле (7), которая выводится так же, как и в предыдущем разделе. Далее все алгебраические действия аналогичны.

Анализ рис. 5 показывает, что оценка имеет достаточно высокую дисперсию, даже по сравнению с предыдущими моделями. Это происходит в силу того, что модель стохастическая, и достаточно большое пространство действий может привести к оптимальному исходу. Рисунок 6 как раз демонстрирует этот факт.

 

Рис. 6. Зависимость совокупной награды от доли ученых в экономике при текущей инициализации модели

Fig. 6. The dependence of the total reward on the share of scientists in the economy at the current initialization of the model

 

Выводы для Шумпетерианской модели эндогенного экономического роста

Реализация алгоритма A2C на Шумпетерианской модели показывает худшие результаты. У оценки получается слишком высокая дисперсия, также при T ≤ 200 оптимальные параметры слишком далеки от значений, полученных с помощью аналитического решения. Именно поэтому было решено установить T на уровне 1000, тогда отличия проявляются в тысячных долях.

ЗАКЛЮЧЕНИЕ

Таким образом, была разработана реализация алгоритма A2C применительно к оптимизации экономических процессов. Далее были формализованы модели Солоу, Ромера и Шумпетерианская модель экономического роста. После формализации модели были оптимизированы с помощью разработанной реализации алгоритма A2C.

На многих задачах обучение с подкреплением показывает себя отлично. Средние значения Бета-распределения на выходе вполне согласуются с теорией при достаточно высоких Т. Худшим экземпляром, с точки зрения дисперсии оценки, а также ее смещения при малых Т, явилась Шумпетерианская модель, в силу ее стохастической природы.

Наконец, несмотря на то что оптимизация прошла успешно, все полученные результаты обобщены с помощью неполной индукции. Перепробовать все параметры модели не представляется возможным в силу их непрерывности, и, соответственно, бесконечного их числа. Невозможность вывода аналитического решения – это цена, которую приходится платить в обучении с подкреплением.

About the authors

Alexander M. Moiseenko

Russian Academy of National Economy and Public Administration under the President of the Russian Federation

Author for correspondence.
Email: alex7and7er@gmail.com
ORCID iD: 0009-0001-0380-1693

1st year graduate student, Department of System Analysis

Russian Federation, Moscow

Natalia V. Grineva

Financial University under the Government of the Russian Federation

Email: ngrineva@fa.ru
ORCID iD: 0000-0001-7647-5967

Cand. Sci. (Econ.), Associate Professor, associate professor, Department of Data Analysis and Machine Learning

Russian Federation, Moscow

References

Supplementary files