Comparison of investment portfolio management systems at the multicriteria description of quality

Full Text

Проблема потери эффективности системами управления инвестиционными портфелями стала особенно актуальной на фоне относительно быстрых изменений конъюнктуры мировых финансовых и товарных рынков. В подобных условиях особенно важным является создание систем управления, способных сохранять качество работы при изменении свойств временных рядов цен финансовых инструментов. Для проверки качества работы и оптимизации систем [2] используется ретроспективное тестирование - тестирование системы на прошлом материале. Обычно исторический временной ряд цен делится на две части (выборки): обучающую и тестовую. На обучающей выборке система строится и оптимизируется. Упрощенно можно сказать, что в ходе оптимизации из всего множества рассматриваемых систем со всевозможными наборами параметров выбирается подмножество наиболее эффективных по заданным критериям (рис. 1). На тестовой выборке проверяется качество работы отобранных систем. При сравнении систем обычно выбирается та, которая показала лучшую эффективность на тестовой выборке. Операции, проводимые на обеих выборках, различаются лишь множествами рассматриваемых систем и методами оптимизации, но не принципами отбора. Более того, можно сказать, что на тестовой выборке осуществляется оптимизация путем перебора систем. Заметим, что решение о том, какая именно из двух выборок будет обучающей, а какая - тестовой, в общем случае основывается на случайных факторах (например, хронологической последовательности) и не направлено непосредственно на выбор более качественной системы. Более того, если поменять местами обучающую и тестовую выборки, то в большинстве случаев изменится и выбор лучшей системы. Рис. 1. Схема отбора систем и параметров при традиционном подходе Многокритериальность постановки задачи оптимизации усугубляет проблему неоднозначности выбора. Также отметим, что системы, показавшие наилучшие результаты на обучающей выборке, в большинстве случаев показывают плохие результаты на тестовых. Это явление называется переподгонкой (overfitting) и связано с излишне точной аппроксимацией обучающей выборки с помощью системы. Обычно эти системы характеризуются сложной разветвленной структурой алгоритма и большим числом настраиваемых параметров. Интерес представляет подход к тестированию, который позволил бы выявить системы, способные получать стабильно хорошие результаты на различных временных отрезках. Подобный подход для случая однокритериальной постановки задачи представлен авторами в [1]. В настоящей работе полученные ранее результаты распространяются на случай многокритериальной оценки качества работы системы и соответствующей задачи ее многокритериальной оптимизации. Перекрестная проверка системы при однокритериальной параметрической оптимизации Рассматриваются системы управления инвестиционными портфелями, содержащие вектор настраиваемых параметров. Вектор параметров i-й системы обозначим через , где Ni - количество параметров i-й системы. Основой подхода к сравнению систем является перекрестная проверка - параметрическая оптимизация («обучение») исследуемых систем на различных сочетаниях нескольких из K имеющихся выборок и анализ качества их работы с оптимизированными параметрами на остальных (тестовых) выборках. При этом количество используемых для каждого обучения выборок может быть выбрано в пределах от 1 до K-1. Слишком большое количество выборок в обучающем наборе приводит к тому, что оптимальные параметры, получаемые при оптимизации на разных наборах, практически идентичны получаемым на объединении всех имеющихся выборок. Слишком малое количество выборок в обучающем наборе, наоборот, приводит к существенному разнообразию векторов параметров. Исходя из этих соображений при исследовании стабильности целесообразно производить обучение на малых наборах обучающих выборок, а при формировании системы для практического использования - на больших наборах. Далее при исследовании стабильности используется обучение по одной выборке. Критерий качества управления портфелем с помощью i-й системы на k-й выборке обозначим C1(ai, k). Пусть, например, при наличии K выборок i-я система оптимизируется («обучается») на первой из них: . (1) С полученным вектором параметров ai*1 i-я система тестируется на оставшихся выборках (вычисляются С1(ai*1,2), …, С1(ai*1,K)). Затем производится оптимизация на второй выборке (находится ai2*) и тестирование на остальных (вычисляются С1(ai*2,1), С1(ai*2,3), …, С1(ai*2,K)) и так далее. В результате будет получена квадратная матрица оценок качества системы, причем номер строки матрицы будет соответствовать номеру обучающей выборки, а номер столбца - номеру тестовой. При однокритериальной оптимизации элементами матрицы являются значения критерия качества управления портфелем i-й системой: . (2) Сопоставление полученных матриц Ri для разных систем может служить основой для сравнения качества самих систем. Если для всех k,l = 1…K C1(ai*k,l) > C1(aj*k,l), то очевидно, что i-я система предпочтительнее j-й. Если же такое преимущество наблюдается лишь для части элементов матриц, то необходимо ввести дополнительное правило для сравнения систем. Для построения этого правила можно, например, рассмотреть критерий качества как случайную величину. Сравнение функций распределения или числовых характеристик таких случайных величин позволит выбрать более предпочтительную систему. Перекрестная проверка при многокритериальной оптимизации Многокритериальный подход к оценке качества управления портфелем усложняет реализацию приведенного выше подхода: в подавляющем большинстве случаев не существует доминирующего вектора параметров, который бы по всем критериям (C1…CM) обеспечивал превосходство над системой с любым другим вектором параметров. Пример критериального множества с доминирующим вектором параметров ai1* (в двухкритериальной задаче) представлен на рис. 2. Вектор параметров будем называть недоминируемым, если не существует ни одного вектора (доминирующего), который бы обеспечивал рассматриваемой системе качество управления портфелем по всем критериям не хуже данного и хотя бы по одному критерию лучше. На обучающей выборке может быть построено множество недоминируемых векторов (эффективная граница множества векторов). На рис. 3 представлено критериальное множество с несколькими недоминируемыми векторами (ai*1,1, ai*1,2, ai*1,3 и ai*1,4). Рис. 2. Доминирующий вектор параметров Рис. 3. Эффективная граница множества векторов параметров Таким образом, существенным отличием перекрестной проверки при многокритериальной оптимизации является то, что каждая обучающая выборка порождает не один оптимальный вектор параметров, а множество недоминируемых векторов. Соответственно, проверять на тестовых выборках нужно будет каждый вектор этого множества. Результаты тестирования требуют иного подхода к их интерпретации, так как для каждой пары обучающей и тестовой выборок необходимо проанализировать множество векторов параметров, каждый из которых характеризуется множеством критериев. В этом случае аналогом матрицы (2) является матрица (3) той же размерности KK. Однако элементами матрицы (3) будут уже не отдельные значения критерия, а матрицы значений критериев, в которых номер столбца соответствует номеру критерия m = 1...M, а номер строки - номеру недоминируемого (на k-й обучающей выборке) вектора параметров s = 1...Ski: , (3) где Внутренние матрицы, находящиеся в разных строках основной матрицы, могут иметь разное количество строк, так как количество недоминируемых векторов на разных обучающих выборках может различаться. Количество столбцов у всех внутренних матриц одинаковое и равно M. Необходимо сформировать правило, позволяющее сравнить эту матрицу с аналогичной матрицей для другой системы и сделать соответствующие выводы о стабильности качества их работы. Особенности оценок стабильности при многокритериальной оптимизации Стабильность работы системы определяется сравнением элементов (т. е. внутренних матриц) столбца большой матрицы с элементом на пересечении этого столбца и главной диагонали. Это сравнение показывает, насколько система с оптимальными параметрами с других выборок уступает системе с оптимальными параметрами на данной выборке. Таким образом, при всех k = 1…K, k  l нужно сравнить множество матриц с векторами параметров, оптимизированных на k-х выборках, с матрицей , у которой векторы параметров оптимизированы на l-й выборке (l-я выборка одновременно является еще и тестовой). У этих матриц одинаковое количество столбцов (по числу критериев), но разное количество строк (по числу недоминируемых векторов параметров на k-й и l-й выборках). Пример графического представления рассматриваемых матриц для случая двух критериев (М=2) и трех выборок (K=3) при тестировании на первой выборке (l=1) приведен на рис. 4. Очевидно, что при тестировании на l-й выборке векторы ai*k,s, полученные при оптимизации на k-й выборке (k  l), могут быть недоминируемыми только в случае их совпадения с некоторыми из недоминируемых векторов ai*l,s l-й выборки. В случае доминируемости векторов ai*k,s интерес представляет количественное описание превосходства над ними набора векторов ai*l,s. Рис. 4. Примеры результатов оптимизации и тестирования (в двухкритериальной задаче) Рассматриваемая формулировка приводит к необходимости введения количественной меры различия не только для пары векторов критериев, но и для пары множеств таких векторов. Такой подход имеет смысл в том случае, когда нужна оценка именно стабильности безотносительно других свойств системы. Для сравнения систем между собой целесообразно сразу сравнивать порождаемые ими матрицы вида (3). Сравнение матриц значений критериев для разных систем Рассмотрим частные случаи, позволяющие без введения дополнительных связей и соотношений между критериями сравнить матрицы Ri и Rj вида (3), порождаемые i-й и j-й системами, и сделать вывод о предпочтительности i-й системы по сравнению с j-й. 1. Все элементы матрицы Ri являются доминирующими по Парето (по всем критериям (4) не хуже, хотя бы по одному (5) критерию m0 лучше) по отношению ко всем элементам Rj, полученным при тестировании на тех же выборках l, кроме случая совпадения тестовой и обучающей выборок (рис. 5): (4) (5) 2. Все элементы матрицы Ri являются доминирующими по Парето по отношению ко всем элементам Rj, полученным при оптимизации и тестировании на тех же выборках, кроме случая совпадения тестовой и обучающей выборок (рис. 6): (6) (7) Рис. 5. Доминирование (вариант 1) Рис. 6. Доминирование (вариант 2) Рис. 7. Доминирование (вариант 3) Рис. 8. Доминирование (вариант 4) 3. Третий вариант отличается от предыдущего тем, что рассматриваются пары обучающих и тестовых выборок, следующих в хронологической последовательности (рис. 7): (8) (9) 4. Элементы Ri являются недоминируемыми по Парето (10), а хотя бы один - доминирующим по Парето (10) по отношению ко всем элементам Rj, полученным на той же тестовой выборке, кроме случая совпадения тестовой и обучающей выборок (рис. 8): (10) (11) 5. При отсутствии доминирования, описанного в одном из предыдущих вариантов, можно построить M-мерные выборочные функции распределения критериев для тестирования по одной выборке. Если i-я функция распределения Fi(C) (доминирующая) при любых значениях вектора критериев C=(C1,…,CM) не больше j-й (доминируемой) Fj(C), а хотя бы в одной точке - строго меньше, то между этими функциями имеет место отношение стохастического доминирования: (12) (13) Идея стохастического доминирования базируется на предположении о монотонности и независимости всех критериев по предпочтению (чем больше значение критерия, тем лучше, независимо от значений остальных критериев). Стохастическое доминирование (как и доминирование в третьем и четвертом случаях) не дает гарантированного преимущества над доминируемой системой, определяя лишь статистическое преимущество. Можно выделить следующую иерархию рассмотренных вариантов доминирования. Наиболее явное превосходство i-й системы над j-й наблюдается в первом случае и задается наиболее жесткими ограничениями (4) и (5). Их соблюдение автоматически приводит к соблюдению ограничений (6)-(13) во всех остальных вариантах. При соблюдении ограничений (6) и (7) второго варианта автоматически соблюдаются ограничения (8)-(13) третьего, четвертого и пятого. Третий, четвертый и пятый варианты доминирования связаны зависимостью, однако эта зависимость имеет вероятностный характер и не позволяет по соблюдению одних ограничений сделать вывод о соблюдении других. Рассмотренные случаи позволяют сделать вывод о той или иной степени превосходства i-й системы над j-й лишь на основе знания о монотонном возрастании критериев по предпочтению инвестора. В других случаях требуется дополнительная информация о важностях критериев для инвестора, дающая возможность построить агрегированный критерий (например, в виде функции полезности). В качестве базовых способов агрегирования критериев можно выделить линейную свертку и свертку Гермейера, которые являются строго возрастающими по предпочтениям инвестора [3, с. 59]. О формирование множества выборок При изучении стабильности и статистическом сравнении систем управления инвестиционными портфелями важно использовать множество выборок, максимально соответствующее многообразию различных временных рядов рассматриваемых финансовых инструментов. Целесообразно использовать выборки с разными характеристиками волатильности (как по амплитуде, так и по спектру частот). Также интерес представляет исследование на множестве выборок, содержащем как бестрендовые участки, так и в разной степени выраженные тренды, а также моменты смены трендов. Заключение При правильно подобранном множестве выборок предлагаемый метод позволяет оценить стабильность качества работы системы управления портфелем при параметрической оптимизации и тестировании на различных выборках, а также сравнить между собой несколько систем. Описанные варианты доминирования позволяют исключить из дальнейшего рассмотрения системы, заведомо уступающие остальным (1-й и 2-й варианты), а также провести более тонкое сравнение остальных систем (3-5-й варианты).

About the authors

Vigen G Sarkisov

Samara State Technical University

(Ph.D. (Techn.)), Associate Professor. 244, Molodogvardeyskaya st., Samara, 443100, Russian Federation

Gennady A Sarkisov

Samara State Technical University

(Ph.D. (Techn.)), Associate Professor. 244, Molodogvardeyskaya st., Samara, 443100, Russian Federation

References

Supplementary files