Динамическое программирование. Задача о замене оборудования

Найти оптимальные сроки замены оборудования. Первоначальная стоимость оборудования q 0 =6000 усл. ед., ликвидационная стоимость L(t)=q 0 2 -i , стоимость содержания оборудования возраста i лет в течение 1 года S(t)=0,1q 0 (t+1), срок эксплуатации оборудования 5 лет. В конце срока эксплуатации оборудование продается. Задачу решить графически.

Для построения графика в ПП Wolfram Mathematica 6.0 вводим

g = Plot[{6000*2^-x, 600*(x + 1)}, {x, 0, 5}]

В итоге получаем график:

Из графика видим, что оптимальный срок замены оборудования является второй год его эксплуатации.

Динамическое программирование. Оптимальное распределение средств между предприятиями

Найти оптимальное распределение средств в размере 9 усл. ед. между четырьмя предприятиями. Прибыль от каждого предприятия является функцией от вложенных в него средств и представлена таблицей:

Вложенные средства
I предприятие
II предприятие
III предприятие
IV предприятие

Вложения в каждое предприятия кратны 1 усл. ед.

Разобьем процесс выделения средств предприятиям на 4 этапа: на первом этапе выделяется y 1 средств предприятию П 1 , на втором -y 2 средств предприятию П 2 , на третьем - y 3 средств предприятию П 3 , на четвертом третьем - y 4 средств предприятию П 4

x n = x n - 1 - y n , n = 1,2,3, 4.

Заметим, что на четвертом этапе выделения средств весь остаток x 3 вкладывается в предприятие П 4 , поэтому y 3 = x 4 .

Воспользуемся уравнениями Беллмана для N = 4.

В результате получим следующие таблицы:

Таблица 1

Таблица 2

Таблица 3

Таблица 4

Из Таблицы 4 вытекает, что оптимальным управлением будет y 1 * =3, при этом оптимальная прибыль равна 42. Далее получаем

х 1 =х 0 -у 1 *=9-3=6, 2 (х 1)= 2 (6)=30, y 2 * =1

х 2 =х 1 -у 2 *=6-1=5, 3 (х 2)= 3 (5)=23, y 3 * =1

х 3 =х 2 -у 3 *=5-1=4, 4 (х 3)= 4 (4)=15, y 3 * =4

Таким образом, наиболее оптимальным является вложение в предприятия П1, П2, П3 и П4 денежных средств в размере 4, 1,1 и 3 усл.ед., соответственно. В этом случае прибыль будет максимальной и составит 42 усл. ед.

Известно, что оборудова­ние со временем изнашивается, стареет физически и морально. В процес­се эксплуатации, как правило, падает его производительность и растут эксплуатационные расходы на текущий ремонт. Со временем возникает необходимость замены оборудования, так как его дальнейшая эксплуата­ция обходится дороже, чем ремонт. Отсюда задача о замене может быть сформулирована так. В процессе работы оборудование дает ежегодно прибыль, требует эксплуатационных затрат и имеет остаточную стои­мость. Эти характеристики зависят от возраста оборудования. В любом году оборудование можно сохранить, продать по остаточной цене и при­обрести новое. В случае сохранения оборудования возрастают эксплуата­ционные расходы и снижается производительность. При замене нужны значительные дополнительные капитальные вложения. Задача состоит в определении оптимальной стратегии замен в плановом периоде, с тем чтобы суммарная прибыль за этот период была максимальной.

Для количественной формулировки задачи введем следующие обо­значения: r(t) - стоимость продукции, производимой за год на единице оборудования возраста t лет; u(t) - расходы, связанные с эксплуатацией этого оборудования; s(t) - остаточная стоимость оборудования возраста t лет; р - покупная цена оборудования; Т - продолжительность плано­вого периода; t = 0,1, 2,... , Т - номер текущего года.

Решение. Чтобы решить задачу, применим принцип оптимально­сти Р. Беллмана. Рассмотрим интервалы (годы) планового периода в по­следовательности от конца к началу. Введем функцию условно-опти­мальных значений функции цели Fk(t). Эта функция показывает мак­симальную прибыль, получаемую от оборудования возраста t лет за по­следние к лет планового периода. Здесь возраст оборудования рассмат­ривается в направлении естественного хода времени. Например, t = 0 соответствует использованию совершенно нового оборудования. Временные же шаги процесса нумеруются в обратном порядке. Напри­мер, при к = 1 рассматривается последний год планового периода, при к = 2 - последние два года и т. д., при к = Т - последние Т лет, т. е. весь плановый период. Направления изменения t и к показаны на рисунке.

В этой задаче систему составляет оборудование. Ее состояние ха­рактеризуется возрастом. Вектор управления - это решение в момент t = = 0,1, 2,... , Т о сохранении или замене оборудования. Для нахождения оптимальной политики замен следует проанализировать, согласно прин­ципу оптимальности, процесс от конца к началу. Для этого сделаем пред­положение о состоянии оборудования на начало последнего года (k = 1). Пусть оборудование имеет возраст t лет. В начале Т-го года имеются две возможности: 1) сохранить оборудование на Т-й год, тогда прибыль за последний год составит r(t) - u(t); 2) продать оборудование по остаточ­ной стоимости и купить новое, тогда прибыль за последний год будет равна s(t) - р + г(0) - u(0), где г(0) - стоимость продукции, выпущенной на новом оборудовании за первый год его ввода; u(0) - эксплуатацион­ные расходы в этом году. Здесь целесообразно разворачивать процесс от конца к началу. Для последнего года (к = 1) оптималь­ной политикой с точки зрения всего процесса будет политика, обеспе­чивающая максимальную прибыль только за последний год. Учитывая значение прибыли при различном образе действия (замена - сохране­ние), приходим к выводу, что решение о замене оборудования возраста t лет следует принять в случае, когда прибыль от нового оборудования на последнем периоде больше, чем от старого, т.е. при условии

Итак, для последнего, года оптимальная политика и максимальная прибыль F 1 {t) находятся из условия

Пусть к = 2, т. е. рассмотрим прибыль за два последних года. Де­лаем предположение о возможном состоянии t оборудования на начало предпоследнего года. Если в начале этого года принять решение о сохранении оборудования, то к концу года будет получена прибыль r(t) - u(t). На начало последнего года оборудование перейдет в состояние t + 1, и при оптимальной политике в последнем году оно принесет прибыль, равную F 1 (t + 1). Таким образом, общая прибыль за два года составит r(t) - u(t) + F 1 (t + 1). Если же в начале предпоследнего года будет при­нято решение о замене оборудования, то прибыль за предпоследний год составит s(t)-p+r(0)-u(0). Поскольку приобретено новое оборудование, на начало последнего года оно будет в состоянии t = 1. Следовательно, общая прибыль за последние два года при оптимальной политике в по­следнем году составит

Условно-оптимальной в последние два года будет политика, достав­ляющая максимальную прибыль:

Аналогично находим выражения для условно-оптимальной прибыли за три последних года, четыре и т. д. Общее функциональное уравнение примет вид

Таким образом, разворачивая весь процесс от конца к началу, получаем, что максимальная прибыль за плановый период Т составит F T (t 0). Так как начальное состояние to известно, из выражения для F T (t 0) находим оптимальное решение в начале первого года, потом вытекающее оптимальное решение для второго года и т.д. Обратимся к чи­словому примеру.

Разработать оптимальную политику замены оборудования при усло­виях:

1) стоимость r(t) продукции, производимой с использованием обо­рудования за год, и расходы u(t), связанные с эксплуатацией оборудова­ния, заданы таблицей;

2) ликвидационная стоимость машины не зависит от ее возраста и равна 2;

3) цена нового оборудования со временем не меняется и равна 15;

4) продолжительность планового периода 12 лет.

Итак, s(t) = 2, р = 15, Т = 12.

Запишем функциональные уравнения для F 1 (t) и F к (t) при числовых значениях нашего примера:

Пользуясь выражениями (8.9), (8.10), будем последовательно вычис­лять значения максимальной прибыли F к (t) и записывать их в специаль­ную таблицу (табл. 8.4). Первую строку получим, придавая параметру t в равенстве (8.9) значения 0,1,... ,12 и используя исходные данные табл. 8.3. Например, при t = 0

Заметим, что если прибыль от нового оборудования равна прибыли от старого, то старое лучше сохранить еще на год:

Из табл. 8.3 видно, что r(t) – u(t) с ростом t убывает. Поэтому при t > 9 оптимальной будет политика замены оборудования. Чтобы раз­личать, в результате какой политики получается условно-оптимальное значение прибыли, будем эти значения (до t = 9 включительно опти­мальной является политика сохранения) разграничивать жирной лини­ей. Для заполнения второй строки табл. 8.4 используем формулу (8.10). Для к = 2 получаем

Придадим параметру t значения 0,1,2,... ,12, значения r(t) и u(t) возьмем из табл. 8.3, а значения F 1 (t + 1) - из первой строки табл. 8.4. Для третьей строки расчетную формулу получим из равенства (8.10) при к = 3:

и т. д. Заполнив табл. 8.4, данные ее используем для решения постав­ленной задачи. Эта таблица содержит много ценной информации и позволяет решать все семейство задач, в которое мы погружали исходную задачу.

Пусть, например, в начале планового периода имеем оборудование возраста 6 лет. Разработаем "политику замен" на двенадцатилетний пе­риод, доставляющую максимальную прибыль. Информация для этого имеется в табл. 8.4. Максимальная прибыль, которую можно получить за 12 лет при условии, что вначале имелось оборудование возраста 6 лет, находится в табл. 8.4 на пересечении столбца t = 6 и строки F12(t); она составляет 180 единиц.

Значение максимальной прибыли F12(6) = 180 записано справа от ломаной линии, т.е. в области "политики замены". Это значит, что для достижения в течение 12 лет максимальной прибыли в начале первого года оборудование надо заменить. В течение первого года новое обору­дование постареет на год, т.е., заменив оборудование и проработав на нем 1 год, мы за 11 лет до конца планового периода будем иметь обо­рудование возраста 1 год. Из табл. 8.4 берем F11(l) = 173. Это значе­ние располагается в области "политики сохранения", т. е. во втором году планового периода надо сохранить оборудование возраста 1 год, и, про­работав на нем год, за 10 лет до конца планового периода будем иметь оборудование возраста 2 года.

Выясняем, что значение F10(2) = 153 помещено в области сохра­нения. Работаем на оборудовании еще год. Теперь до конца планового периода осталось 9 лет, а возраст оборудования составляет 3 года. Нахо­дим F9(3) = 136. Это область сохранения. Работаем на оборудовании еще год. Его возраст становится равным 4 годам. До конца планового перио­да остается 8 лет. Определяем F8(4) = 120. Это область замен. Заменяем оборудование на новое. Проработаем на нем в течение четвертого года. Оно постареет на год. До конца планового периода останется 7 лет. На­ходим F7(l) = 113. Это область сохранения. Продолжив подобные рассу­ждения, установим, что F6(2) = 93, F5(3) = 76 расположены в области сохранения, F4(4)=60 - в области замен, F3(l) = 53, F2(2) = 33, F1(3) = 16 - в области сохранения. Разработанную политику изобразим следующей цепочкой:

Таким образом, вместо поиска оптимальной "политики замен" на плановый период в 12 лет мы погрузили исходную задачу в семейство подобных, когда период меняется от 1 до 12. Решение ведется по прин­ципу оптимальности для любого состояния системы, независимо от ее предыстории. Оптимальная "политика замен" является оптимальной на оставшееся число лет. Табл. 8.4 содержит информацию для решения и других задач. Из нее можно найти оптимальную стратегию замены оборудования с лю­бым начальным состоянием от 0 до 12 лет и на любой плановый период, не превосходящий 12 лет. Например, найдем "политику замен" на пла­новый период в 10 лет, если вначале имелось оборудование пятилетнего возраста:

Задачу о замене оборудования мы упростили. На практике же дета­лями не пренебрегают. Легко учесть, например, случай, когда остаточная стоимость оборудования s(t) зависит от времени. Может быть принято решение о замене оборудования не новым, а уже проработавшим некото­рое время. Не составляет также труда учесть возможность капитального ремонта старого оборудования. При этом в понятие "состояние" системы необходимо включить время последнего ремонта оборудования. Функция Fk(ti,t2) выражает прибыль за последние к лет планового периода при условии, что вначале имелось оборудование возраста t1, прошедшее ка­питальный ремонт после t2 лет службы. Характеристики г, s и и также будут функциями двух переменных t1 и t2.

Важной экономической проблемой является своевременное обновление оборудования: автомобилей, станков, телевизоров, магнитол и т.п. Старение оборудования включает физический и моральный износ, в результате чего растут затраты на ремонт и обслуживание, снижается производительность труда и ликвидная стоимость. Задача заключается в определении оптимальных сроков замены старого оборудования. Критерием оптимальности являются доход от эксплуатации оборудования (задача максимизации) либо суммарные затраты на эксплуатацию в течение планируемого периода (задача минимизации).

Предположим, что планируется эксплуатация оборудования в течение некоторого периода времени продолжительностью n лет. Оборудование имеет тенденцию с течением времени стареть и приносить все меньший доход r (t ) (t – возраст оборудования). При этом есть возможность в начале любого года продать устаревшее оборудование за цену S (t ), которая также зависит от возраста t , и купить новое оборудование за цену P .

Под возрастом оборудования понимается период эксплуатации оборудования после последней замены, определенный в годах. Требуется найти оптимальный план замены оборудования с тем, чтобы суммарный доход за все n лет был бы максимальным, учитывая, что к началу эксплуатации возраст оборудования составлял t 0 лет.

Исходными данными в задаче являются доход r (t ) от эксплуатации в течение одного года оборудования возраста t лет, остаточная стоимость S (t ), цена нового оборудования P и начальный возраст оборудования t 0 .

t			…	n
r	r(0)	r(1)	…	r(n)
S	S(0)	S(1)	…	S(n)

При составлении динамической модели выбора оптимальной стратегии обновления оборудования процесс замены рассматривается как n -шаговый, т. е. период эксплуатации разбивается на n шагов.

Выберем в качестве шага оптимизацию плана замены оборудования с k -го по n -ый годы. Очевидно, что доход от эксплуатации оборудования за эти годы будет зависеть от возраста оборудования к началу рассматриваемого шага, т. е. k -го года.

Поскольку процесс оптимизации ведется с последнего шага (k = n ), то на k -ом шаге неизвестно, в какие годы с первого по (k -1)-й должна осуществляться замена и, соответственно, неизвестен возраст оборудования к началу k -го года. Возраст оборудования, который определяет состояние системы, обозначим t . На величину t накладывается следующее ограничение:

1 ≤ t ≤ t 0 + k – 1 (19.5)

Выражение (9.5) свидетельствует о том, что t не может превышать возраст оборудования за (k –1)-й год его эксплуатации с учетом возраста к началу первого года, который составляет t 0 лет; и не может быть меньше единицы (этот возраст оборудование будет иметь к началу k -го года, если замена его произошла в начале предыдущего (k –1)-го года).

Таким образом, переменная t в данной задаче является переменной состояния системы на k -ом шаге. Переменной управления на k -ом шаге является логическая переменная, которая может принимать одно из двух значений: сохранить (С ) или заменить (З ) оборудование в начале k -го года:

Функцию Беллмана F k (t ) определяют как максимально возможный доход от эксплуатации оборудования за годы с k -го по n -ый, если к началу k -го возраст оборудования составлял t лет. Применяя то или иное управление, система переходит в новое состояние. Так, например, если в начале k -го года оборудование сохраняется, то к началу (k + 1)-го года его возраст увеличится на единицу (состояние системы станет t + 1), в случае замены старого оборудования новое достигнет к началу (k + 1)-го года возраста t = 1 год.

На этой основе можно записать уравнение, которое позволяет рекуррентно вычислить функции Беллмана, опираясь на результаты предыдущего шага. Для каждого варианта управления доход определяется как сумма двух слагаемых: непосредственного результата управления и его последствий.

Если в начале каждого года сохраняется оборудование, возраст которого t лет, то доход за этот год составит r (t ). К началу (k + 1)-го года возраст оборудования достигнет (t + 1) и максимально возможный доход за оставшиеся годы (с (k + 1)-го по n -й) составит F k +1 (t + 1). Если в начале k -го года принято решение о замене оборудования, то продается старое оборудование возраста t лет по цене S (t ), приобретается новое за P единиц, а эксплуатация его в течение k -го года нового оборудования принесет прибыль r (0). К началу следующего года возраст оборудования составит 1 год и за все оставшиеся годы с (k + 1)-го по n -й максимально возможный доход будет F k +1 (1). Из двух возможных вариантов управления выбирается тот, который приносит максимальный доход. Таким образом, уравнение Беллмана на каждом шаге управления имеет вид:

Функция F k (t ) вычисляется на каждом шаге управления для всех 1 ≤ t ≤ t 0 + k - 1. Управление при котором достигается максимум дохода, является оптимальным.

Для первого шага условной оптимизации при k = n функция представляет собой доход за последний n -ый год:

(19.7)

Значения функции F n (t ), определяемые F n-1 (t ), F n-2 (t ) вплоть до F 1 (t ).

F 1 (t 0) представляют собой возможные доходы за все годы. Максимум дохода достигается при некотором управлении, применяя которое на первом году, мы определяем возраст оборудования к началу второго года.

Для данного возраста оборудования выбирается управление, при котором достигается максимум дохода за годы со второго по n -й и так далее. В результате на этапе безусловной оптимизации определяются годы, в начале которых следует произвести замену оборудования.

Пример 2. Найти оптимальную стратегию эксплуатации оборудования на период продолжительностью 6 лет, если годовой доход r (t ) и остаточная стоимость S (t ) в зависимости от возраста заданы в табл. 19.6, стоимость нового оборудования равна P = 13, а возраст оборудования к началу эксплуатационного периода составляет 1 год.

Таблица 19.6

t
r(t)
S(t)

I этап. Условная оптимизация.

1-й шаг: k = 6. Для него возможные состояния системы t = 1, 2, …, 6.

Функциональное уравнение имеет вид (19.7):

2-й шаг: k = 5. Для него шага возможные состояния системы t = 1, 2, …, 5.

Функциональное уравнение имеет вид:

3-й шаг: k = 4.

4-й шаг: k = 3.

5-й шаг: k = 2.

6-й шаг: k = 1.

Результаты вычислений Беллмана F k (t ) приведены в табл. 19.7, в которой k – год эксплуатации, t – возраст оборудования.

Таблица 19.7

k t

В табл. 19.7 выделено значение функции, соответствующее состоянию «З» – замена оборудования.

II этап. Безусловная оптимизация.

Безусловная оптимизация начинается с шага при k = 1. Максимально возможный доход от эксплуатации оборудования за годы с 1-го по 6-й составляет F 1 (1) = 37. Этот оптимальный выигрыш достигается, если на первом году не производить замены оборудования. Тогда к началу второго года возраст оборудования увеличится на единицу и составит: t 2 = t 1 + 1 = 2. Безусловное оптимальное управление при k = 2, х 2 (2) = С , т.е. максимум дохода за годы со 2-го по 6-й достигается, если оборудование не заменяется. К началу третьего года возраст оборудования увеличится на единицу и составит: t 3 = t 2 + 1 = 2. Безусловное оптимальное управление х 3 (3) = 3, т. е. для получения максимума прибыли за оставшиеся годы необходимо произвести замену оборудования. К началу четвертого года при k = 4 возраст оборудования станет равен t 4 = 1. Безусловное оптимальное управление х 4 (1) = С . Далее соответственно.

Данный сервис предназначен для онлайн решения задачи оптимальной стратегии обновления оборудования . Обычно в исходных данных задаются следующие параметры:

• r(t) - стоимость продукции, произведенной в течение каждого года планового периода с помощью этого оборудования;
• u(t) - ежегодные затраты, связанные с эксплуатацией оборудования;
• s(t) - остаточная стоимость оборудования;
• р - стоимость нового оборудования, включающая расходы, связанные с установкой, наладкой, запуском оборудования и не меняющаяся в данном плановом периоде.

Если стоимость оборудования не указана, будет решаться задача с функциями затрат и замены (задача планирования капитальных вложений).

Планирование капитальных вложений.

Пример №1 . Найти оптимальную стратегию эксплуатации оборудования на период продолжительностью 6 лет, если годовой доход r(t) и остаточная стоимость S(t) в зависимости от возраста заданы в таблице, стоимость нового оборудования равна P = 13 , а возраст оборудования к началу эксплуатационного периода составлял 1 год.

t	0	1	2	3	4	5	6
r(t)	8	7	7	6	6	5	5
s(t)	12	10	8	8	7	6	4

Решение .
I этап. Условная оптимизация (k = 6,5,4,3,2,1).
Переменной управления на k-м шаге является логическая переменная, которая может принимать одно из двух значений: сохранить (С) или заменить (З) оборудование в начале k-го года.
1-й шаг: k = 6. Для 1-го шага возможные состояния системы t = 1,2,3,4,5,6, а функциональные уравнения имеют вид:
F 6 (t) = max(r(t), (C); S(t) - P + r(0), (З))
F 6 (1) = max(7 ; 10 - 13 + 8) = 7 (C)
F 6 (2) = max(7 ; 8 - 13 + 8) = 7 (C)
F 6 (3) = max(6 ; 8 - 13 + 8) = 6 (C)
F 6 (4) = max(6 ; 7 - 13 + 8) = 6 (C)
F 6 (5) = max(5 ; 6 - 13 + 8) = 5 (C)
F 6 (6) = max(5 ; 4 - 13 + 8) = 5 (C)
2-й шаг: k = 5. Для 2-го шага возможные состояния системы t = 1,2,3,4,5, а функциональные уравнения имеют вид:
F 5 (t) = max(r(t) + F 6 (t+1) ; S(t) - P + r(0) + F 6 (1))
F 5 (1) = max(7 + 7 ; 10 - 13 + 8 + 7) = 14 (C)
F 5 (2) = max(7 + 6 ; 8 - 13 + 8 + 7) = 13 (C)
F 5 (3) = max(6 + 6 ; 8 - 13 + 8 + 7) = 12 (C)
F 5 (4) = max(6 + 5 ; 7 - 13 + 8 + 7) = 11 (C)
F 5 (5) = max(5 + 5 ; 6 - 13 + 8 + 7) = 10 (C)
F 5 (6) = max(5 + ; 4 - 13 + 8 + 7) = 6 (З)
3-й шаг: k = 4. Для 3-го шага возможные состояния системы t = 1,2,3,4, а функциональные уравнения имеют вид:
F 4 (t) = max(r(t) + F 5 (t+1) ; S(t) - P + r(0) + F 5 (1))
F 4 (1) = max(7 + 13 ; 10 - 13 + 8 + 14) = 20 (C)
F 4 (2) = max(7 + 12 ; 8 - 13 + 8 + 14) = 19 (C)
F 4 (3) = max(6 + 11 ; 8 - 13 + 8 + 14) = 17 (C/З)
F 4 (4) = max(6 + 10 ; 7 - 13 + 8 + 14) = 16 (C/З)
F 4 (5) = max(5 + 6 ; 6 - 13 + 8 + 14) = 15 (З)
F 4 (6) = max(5 + ; 4 - 13 + 8 + 14) = 13 (З)
4-й шаг: k = 3. Для 4-го шага возможные состояния системы t = 1,2,3, а функциональные уравнения имеют вид:
F 3 (t) = max(r(t) + F 4 (t+1) ; S(t) - P + r(0) + F 4 (1))
F 3 (1) = max(7 + 19 ; 10 - 13 + 8 + 20) = 26 (C)
F 3 (2) = max(7 + 17 ; 8 - 13 + 8 + 20) = 24 (C)
F 3 (3) = max(6 + 16 ; 8 - 13 + 8 + 20) = 23 (З)
F 3 (4) = max(6 + 15 ; 7 - 13 + 8 + 20) = 22 (З)
F 3 (5) = max(5 + 13 ; 6 - 13 + 8 + 20) = 21 (З)
F 3 (6) = max(5 + ; 4 - 13 + 8 + 20) = 19 (З)
5-й шаг: k = 2. Для 5-го шага возможные состояния системы t = 1,2, а функциональные уравнения имеют вид:
F 2 (t) = max(r(t) + F 3 (t+1) ; S(t) - P + r(0) + F 3 (1))
F 2 (1) = max(7 + 24 ; 10 - 13 + 8 + 26) = 31 (C/З)
F 2 (2) = max(7 + 23 ; 8 - 13 + 8 + 26) = 30 (C)
F 2 (3) = max(6 + 22 ; 8 - 13 + 8 + 26) = 29 (З)
F 2 (4) = max(6 + 21 ; 7 - 13 + 8 + 26) = 28 (З)
F 2 (5) = max(5 + 19 ; 6 - 13 + 8 + 26) = 27 (З)
F 2 (6) = max(5 + ; 4 - 13 + 8 + 26) = 25 (З)
6-й шаг: k = 1. Для 6-го шага возможные состояния системы t = 1, а функциональные уравнения имеют вид:
F 1 (t) = max(r(t) + F 2 (t+1) ; S(t) - P + r(0) + F 2 (1))
F 1 (1) = max(7 + 30 ; 10 - 13 + 8 + 31) = 37 (C)
F 1 (2) = max(7 + 29 ; 8 - 13 + 8 + 31) = 36 (C)
F 1 (3) = max(6 + 28 ; 8 - 13 + 8 + 31) = 34 (C/З)
F 1 (4) = max(6 + 27 ; 7 - 13 + 8 + 31) = 33 (C/З)
F 1 (5) = max(5 + 25 ; 6 - 13 + 8 + 31) = 32 (З)
F 1 (6) = max(5 + ; 4 - 13 + 8 + 31) = 30 (З)
Результаты вычислений по уравнениям Беллмана F k (t) приведены в таблице, в которой k - год эксплуатации, а t - возраст оборудования.
Таблица – Матрица максимальных прибылей

k / t	1	2	3	4	5	6
1	37	36	34	33	32	30
2	31	30	29	28	27	25
3	26	24	23	22	21	19
4	20	19	17	16	15	13
5	14	13	12	11	10	6
6	7	7	6	6	5	5

В таблице выделено значение функции, соответствующее состоянию (З) - замена оборудования.
При решении данной задачи в некоторых таблицах при оценке выбора нужного управления мы получали одинаковые значения F для обоих вариантов управления. В этом случае, в соответствии с алгоритмом решения подобных задач необходимо выбирать управление сохранения оборудования.
II этап. Безусловная оптимизация (k = 6,5,4,3,2,1).
По условию задачи возраст оборудования равен t 1 =1 годам. Плановый период N=6 лет.
К началу 1-го года эксплуатации возраст оборудования увеличится на единицу и составит: t 1 = t 0 + 1 = 0 + 1 = 1. Прибыль составит F 1 (1)=37.
Оптимальное управление при k = 1, x 1 (1) = (C), т.е. максимум дохода за годы с 1-го по 6-й достигается, если оборудование сохраняется, т.е. не заменяется.
К началу 2-го года эксплуатации возраст оборудования увеличится на единицу и составит: t 2 = t 1 + 1 = 1 + 1 = 2. Прибыль составит F 2 (2)=30.
Оптимальное управление при k = 2, x 2 (2) = (C), т.е. максимум дохода за годы с 2-го по 6-й достигается, если оборудование сохраняется, т.е. не заменяется.
К началу 3-го года эксплуатации возраст оборудования увеличится на единицу и составит: t 3 = t 2 + 1 = 2 + 1 = 3. Прибыль составит F 3 (3)=23.
Безусловное оптимальное управление при k = 3, x 3 (3)=(З), т.е. для получения максимума прибыли за оставшиеся годы необходимо в этом году провести замену оборудования.
К началу 4-го года эксплуатации возраст оборудования увеличится на единицу и составит: t 4 = t 3 + 1 = 0 + 1 = 1. Прибыль составит F 4 (1)=20.
Оптимальное управление при k = 4, x 4 (1) = (C), т.е. максимум дохода за годы с 1-го по 6-й достигается, если оборудование сохраняется, т.е. не заменяется.
К началу 5-го года эксплуатации возраст оборудования увеличится на единицу и составит: t 5 = t 4 + 1 = 1 + 1 = 2. Прибыль составит F 5 (2)=13.
Оптимальное управление при k = 5, x 5 (2) = (C), т.е. максимум дохода за годы с 2-го по 6-й достигается, если оборудование сохраняется, т.е. не заменяется.
К началу 6-го года эксплуатации возраст оборудования увеличится на единицу и составит: t 6 = t 5 + 1 = 2 + 1 = 3. Прибыль составит F 6 (3)=6.
Оптимальное управление при k = 6, x 6 (3) = (C), т.е. максимум дохода за годы с 3-го по 6-й достигается, если оборудование сохраняется, т.е. не заменяется.
F 1 (1) → (C) → F 2 (2) → (C) → F 3 (3) → (З) → F 4 (1) → (C) → F 5 (2) → (C) → F 6 (3) → (C) →
Таким образом, за 6 лет эксплуатации оборудования замену надо произвести в начале 3-го года эксплуатации

Пример №2 . Задача планирования капитальных вложений. Интервал планирования Т=5 лет. Функция затрат на ремонт и дальнейшую эксплуатацию K(t)=t+2t 2 (р.); функция замены P(t)=10+0.05t 2 (р.). Определить оптимальную стратегию замены и ремонта для нового оборудования (t=0) и оборудования возраста t=1, t=2, t=3.
Определить оптимальные планируемые затраты по годам пятилетки, если количество оборудования по возрастным группам следующие: n(t=0)=10, n(t=1)=12, n(t=2)=8, n(t=3)=5

В процессе эксплуатации оборудование подвергается физическому и моральному износу. Существует два способа восстановления оборудования - полное и частичное. При полном восстановлении оборудование меняется на новое, при частичном оборудование ремонтируется. Для оптимального использования оборудования нужно найти возраст, при котором его необходимо заменить, чтобы доход от машины был максимальным или, если доход подсчитать не удается, издержки на ремонтно-эксплуатационные нужды были минимальными. Данный подход рассматривается с позиции экономических интересов потребителя.

Для оптимизации ремонта и замены оборудования требуется разработать на плановый период стратегию по замене машины. В качестве экономических интересов может быть использован один из двух подходов:

1. Максимум дохода от машины за определенный промежуток времени.

2. Минимум затрат на ремонтно-эксплуатационный нужды, если доход подсчитать не удается.

Данная задача решается методом динамического программирования. Основная идея этого метода заключается в замене одновременного выбора большего количества параметров поочередным их выбором. Этим методом могут быть решены самые различные задачи оптимизации. Общность подхода к решению самых различных задач является одним из достоинств этого метода.

Рассмотрим механизм оптимизации ремонта и замены оборудования. Для решения задачи введем следующие обозначения:

t - возраст оборудования;

d(t) - чистый годовой доход от оборудования возраста t;

U(t) - издержки на ремонтно-эксплуатационные нужды машины возраста t;

С - цена нового оборудования.

Для решения этой задачи введем функцию fn(t) , которая показывает величину максимального дохода за последние n - лет при условии, что в начале периода из n - лет у нас была машина возраста t - лет.

Алгоритм решения задачи следующий:

1) f1(t) = max d(0) - С

) fn(t) = max fn-1(t+1) + d(t)

fn-1(1) + d(0) - С

Увеличение издержек приведет к снижению чистого дохода, который рассчитывается так:

d(t) = r(t) - u(t)

r(t) - годовой объем дохода от оборудования возраста t;

u(t) - годовые затраты на ремонтно - эксплуатационные нужды

оборудования возраста t.

Подход максимизации дохода

Для решения этой задачи введем функцию fn(t) , которая показывает величину максимального дохода за последние n - лет при условии, что в начале периода из n-лет у нас было оборудование возраста t-лет.

Если до конца периода остался 1 год

Если до конца периода осталось n лет

(t) = max

где t - возраст оборудования;

d (t) - чистый годовой доход от оборудования возраста t;

C - цена нового оборудования.

Увеличение издержек приведет к снижению чистого дохода, который рассчитывается так

(t) = r(t) - u(t)

где r (t) - годовой объем дохода от оборудования возраста t;

u(t) - годовые затраты на ремонтно-экплуатационные нужды оборудования возраста t.

Рассчитаем чистый доход по формуле, зная динамику поступления дохода и роста издержек на ремонт.

Таблица 2. Чистый доход от оборудования по годам