Рис. 16.2 Дерево рекурсии для recursive-matrix-chain(р, 1, 4). В каждой вершине записаны значения г и j. Заштрихованы «лишние» вершины (вычисления в которых повторяют уже проделанные).

На рис. 16.2 изображено дерево рекурсии для Recursive-Matrix-Chain (р, 1,4). В каждой вершине записаны значения г и j. Обратите внимание, что некоторые пары встречаются многократно.

Легко видеть, что время работы Recursive-Matrix-Chain(p, 1, га) зависит от га по меньшей мере экспоненциально. В самом деле, обозначим его Т(п) и примем, что время исполнения строк 1-2, а также 6-7, равно единице. Тогда:

Т(1) > 1,

п-1

Т(п) 1 + 5(Г(Л) + Т(п - k) + 1), если га > 1. к=1

В сумме по к каждое Т[г) (при г = 1, 2,..., га - 1) встречается дважды, и ещё есть п-1 единиц. Стало быть,

п-1

Т(п) 2Г(г) + га.(16.4)

г = 1

Докажем по индукции, что Т(п) 2п~1 для всех п 1. При п = 1 неравенство выполнено, так как Т(1) 1 = 2°. Шаг индукции:

п-1п-2

Т(п) > 2 28"1 + га = 22г + га =

г=1г=0

= 2(2n 1 -l) + ra = 2n-2 + ra 2п~1.

Мы видим, что алгоритм Recursive-Matrix-Chain требует экспоненциального времени. Причина в том, что этот алгоритм многократно встречает одинаковые подзадачи и каждый раз решает их заново. Различных подзадач всего лишь ©(га2), и масса времени теряется на лишнюю работу. Метод динамического программирования позволяет этой лишней работы избежать.

Динамическое программирование «сверху вниз»

Алгоритм раздела 16.1 действовал «снизу вверх». Но тот же приём (исключение повторного решения подзадач) можно реализовать и для алгоритмов, работающих «сверху вниз». Для этого нужно запоминать ответы к уже решённым подзадачам в специальной таблице. Сначала вся таблица пуста (т.е. заполнена специальными записями, указывающими на то, что соответствующее значение еще не вычислено). Когда в процессе выполнения алгоритма подзадача встречается в первый раз, её решение заносится в таблицу. В дальнейшем решение этой подзадачи берётся прямо из таблицы. (В нашем примере таблицу ответов завести легко, так как подзадачи нумеруются парамиВ более сложных случа-

ях можно использовать хеширование.) По-английски этот прием улучшения рекурсивных алгоритмов называется memoization.

Применим это усовершенствование к алгоритму Recursive-Matrix-Chain:

Memoized-Matrix-Chain(p)

1га <- length\p] - 1

2for г <- 1 to га

9 return m[i,j]

Процедура Memoized-Matrix-Chain, подобно Matrix-Chain-Order, заполняет таблицу га[1. .га, 1. .га], где га [г, j] - минимальное количество умножений, необходимое для вычисления a4-..j. Первоначально m[i,j] = оо в знак того, что соответствующее место в таблице не заполнено. Если при исполнении Lookup-Chain(p, i, j) оказывается, что m[i,j] < оо, то процедура сразу выдает это значение m[i,j]. В противном случае m[i,j] вычисляется как в процедуре Recursive-Matrix-Chain, записывается в таблицу и выдаётся в качестве ответа. Тем самым вызов Lookup-Chain(p, г, j) всегда

3

4 5

7

8

возвращает m[i,j], но вычисления проводятся только при первом таком вызове.

Рис. 16.2 иллюстрирует экономию, достигаемую заменой Recursive-Matrix-Chain на Memoized-Matrix-Chain. Заштрихованные вершины дерева рекурсии соответствуют тем случаям, когда значение га [г, j] не вычисляется, а берётся прямо из таблицы.

Алгоритм Memoized-Matrix-Chain требует времени 0(га3), как и алгоритм Matrix-Chain-Order. В самом деле, каждая из 0(га2) позиций таблицы один раз инициализируется (строка 4 процедуры Memoized-Matrix-Chain) и один-единственный раз заполняется - при первом вызове Lookup-Chain(p, i,j) для данных г и j. Все вызовы Lookup-Chain(p, г, j) делятся на первые и повторные. Каждый из ©(га2) первых вызовов требует времени О(га) (не включая времени работы рекурсивных вызовов Lookup-Chain для меньших участков); общее время работы есть О (га3). Каждый из повторных вызовов требует времени 0(1); их число есть О (га3) (вычисления для каждой из О (га2) клеток таблицы порождают О (га) вызовов). Тем самым рекурсивный алгоритм, требующий времени £}(2п), превратился в полиномиальный, требующий времени О (га3).

Подведём итоги: задача об оптимальном порядке умножения га матриц может быть решена за время О (га3) либо «сверху вниз» (рекурсивный алгоритм с запоминанием ответов), либо «снизу вверх» (динамическое программирование). Оба алгоритма основаны на перекрытии подзадач; число подзадач есть ©(га2), и оба алгоритма решают каждую из подзадач лишь единожды.

Вообще говоря, если каждая из подзадач должна быть решена хоть раз, метод динамического программирования («снизу вверх») обычно эффективнее, чем рекурсия с запоминанием ответов, поскольку реализация рекурсии (а также проверка, есть ответ в таблице или ещё нет) требует дополнительного времени. Но если для нахождения оптимума не обязательно решать все подзадачи, подход «сверху вниз» имеет то преимущество, что решаются лишь те подзадачи, которые действительно нужны.

Упражнения

16.2-1 Сравните неравенство (16.4) с формулой (8.4), использованной при оценке времени работы алгоритма быстрой сортировки. В чём причина того, что оценки, получающиеся из этих двух рекуррентных соотношений, столь различны?

16.2-2 Как лучше искать оптимальный порядок перемножения матриц: перебирая все расстановки скобок и вычисляя количе-