(Последнее равенство соответствует выделению полного квадрата, как мы увидим в упр. 31.6-2.)

Теперь для любого z можно подобрать такое у, чтобы первое слагаемое в соотношении (31.30) обратилось в 0 - а значит, остающееся второе слагаемое

положительно для любого z. Положительная определённость S доказана.

Следствие 31.16

Для положительно определённой симметрической матрицы процедура LU-Decomposition не сталкивается с делением на 0. Доказательство.

Пусть А - положительно определённая симметрическая матрица. Докажем, что все главные элементы по ходу действия будут положительны (и тем самым не равны 0). Первый из них (оц) положителен, поскольку по определению положительно определённой матрицы оц = ejAeJ > 0. На следующем шаге рекурсии алгоритм применяется к дополнению Шура, которое по лемме 31.15 само является положительно определённой симметрической матрицей, так что и все дальнейшие главные элементы положительны (индукция).

Метод наименьших квадратов.

утАку + yTBTz + zTBy + ZTCz (у + A71BTz)TAk(y + A;1BTz) + zt(C- BA71Bt)z

(31.30)

zT(C - BA7lBT)z = zTSz

Обратите внимание, что при k = 1 это определение согласуется с прежним определением (31.23).

Докажем результат, использованный при доказательстве теоремы 31.12.

Лемма 31.15 (о дополнении Шура)

Если А является положительно определённой симметрической матрицей, а Ак - её к - й угловой минор, то дополнение Шура к подматрице Ак матрицы А само будет симметрической положительно определённой матрицей.

Доказательство.

Как следует из упражнения 31.1-7, матрица S будет симметрической; остаётся показать её положительную определённость. Мы знаем, что хТАх > 0 для любого ненулевого вектора х. Разбив вектор х на части у и z (в соответствии с разбиением (31.28) матрицы А), мы можем написать следующее тождество (матрица Ак обратима, как мы знаем):

Метод наименьших квадратов использует положительно определённые симметрические матрицы для отыскания кривых данного вида, походящих поблизости от заданных точек. Пусть нам задан набор точек

[Xi,yi), (Ж2,У2), • • • , (Хт,ут)

[xi ф Xj при г ф j), причём значения уг- считаются содержащими ошибки измерения. Мы ищем функцию F(x), для которой

yi = F(xi) + r}i,(31.31)

при г = 1,... , то, причём погрешности гц малы. Ищем мы её среди функций определенного класса, а именно, среди линейных комбинаций

п 3 = 1

заранее выбранных базисных функций (basic functions) fj. Часто в качестве базисных функций рассматривают мономы fj(x) = х3~1 вплоть до некоторой фиксированной степени; другими словами, мы ищем F среди многочленов степени не выше п-1:

ci + с2ж + с3ж2 -\-----Ь спхп~г.

При п = то можно найти многочлен, в точности проходящий через заданные точки, то есть удовлетворяющий соотношению (31.31) с нулевыми погрешностями. Как правило, такой подход оказывается неудачным, так как ошибки измерений сильно влияют на значения многочлена вне Ж1,ж2,... ,хп, и получается ерунда. Разумнее выбрать п много меньшим т - тогда есть шанс, что «шум», вносимый ошибками измерения, отфильтруется. Мы не обсуждать практические правила выбора п, а будет считать, что п уже задано. Мы получаем систему, где уравнений больше, чем неизвестных, зато их не надо решать точно - если левая часть близка к правой, уже хорошо. Как поступать с такой системой?

Пусть А - матрица значений базисных функций в заданных точках:

/ fl{xi) /2(2:1) • • • /гг(ж1)\ /1(2:2) /2(2:2) • • • fn(x2)

\fi(xm) /2(жт)

а с

вектор из га искомых коэффициентов: с = (ск). Тогда

/ /1(2:1) /2(2:1) • • • fn(x1)\

Ac

/1(2:2) /2(2:2)

АЛ

c2

\CnJ

\fl(xm) f2(xm) ... fn(xm)J

fF(xi)\

F(x2]

\F{xm))

будет вектором из то значений, через которые проходит кривая. Мы хотим, чтобы вектор невязки (approximation error)

г) = Ас - у,

(размера то) был как можно меньше. Здесь «меньше» мы понимаем как «короче», вычисляя длину по формуле

Е2

чг = 1

1/2

(евклидова норма). Другими словами, мы хотим, чтобы сумма квадратов невязок была минимальной, отсюда и название метод наименьших квадратов (least squares). Как учат в курсе анализа, для поиска минимума надо продифференцировать

п i п

\v\\2 = \\Ac-y\\2 = J2 ЕВД-У*

i=l \j=l

по всем переменным ск

д\\у\\2 = дск

Е 2 Е a%JcJ ~ Уг ) а%к = ° 1=1 \j=i

(31.32)

Эту систему из п уравнений (к = 1, 2,... , га) можно записать как матричноме уравнение

{Ас-у)ТА = 0, которое (см. упр. 31.1-3) эквивалентно уравнению

Ат(Ас- у) = 0.