Псевдообратная матрица

Псевдообра́тная ма́трица — обобщение понятия обратной матрицы в линейной алгебре. Псевдообратная матрица к матрице <math>A</math> обозначается <math>A^+</math>.

Впервые концепцию псевдообратных интегрирующих операторов в 1903 году представил Фредгольм. Наиболее известно псевдообращение Мура — Пенроуза, которое было независимо описано Элиакимом Муром^[1] в 1920 году и Роджером Пенроузом^[2] в 1955 году; утверждение о существовании и единственности для любой матрицы над действительными и комплексными числами псевдообратной матрица носит название теоремы Мура — Пенроуза.

Обобщённое обращение (англ. generalized inverse) — псевдообращение, удовлетворяющее более строгим условиям. Псевдообращение можно понимать как решение задачи наилучшей аппроксимации (по методу наименьших квадратов с предельным вариантом регуляризации) для соответствующей системы линейных уравнений^[⇨]. Псевдообратная матрица может быть вычислена с помощью сингулярного разложения матрицы.

Определение

<math>A^+</math> называется псевдообратной матрицей для матрицы <math>A</math>, если она удовлетворяет следующим критериям:

<math>A A^+A = A</math>;
<math>A^+A A^+ = A^+</math> (<math>A^+</math> является слабым обращением в мультипликативной полугруппе);
<math>(AA^+)^* = AA^+</math> (это означает, что <math>AA^+</math> — эрмитова матрица);
<math>(A^+A)^* = A^+A</math> (<math>A^+A</math> — тоже эрмитова матрица).

Здесь <math>M^*</math> — эрмитово сопряжённая матрица M (для матриц над полем действительных чисел <math>M^* = M^T</math>).

Существует эквивалентный способ задания псевдообратной матрицы через предел обратных (регуляризация Тихонова):

<math>A^+ = \lim_{\delta \to +0} (A^* A + \delta I)^{-1} A^*

         = \lim_{\delta \to +0} A^* (A A^* + \delta I)^{-1}</math>,

где <math> I</math> — единичная матрица. Этот предел существует, даже если <math>(A A^*)^{-1}</math> и <math>(A^* A)^{-1}</math> не определены.

Свойства

Псевдообращение инволютивно (то есть эта операция обратна самой себе):
<math>(A^+)^+ = A </math>.
Псевдообращение коммутирует с транспонированием, сопряжением и эрмитовым сопряжением:
<math>(A^T)^+ = (A^+)^T</math>,
<math>(\overline{A})^+ = \overline{A^+} </math>,
<math>(A^*)^+ = (A^+)^* </math>.
Псевдообратное произведение матрицы <math>A</math> на скаляр <math>\alpha</math> равно соответствующему произведению матрицы <math>A^+</math> на обратное число <math>\alpha^{-1}</math>:
<math>(\alpha A)^+ = \alpha^{-1} A^+ </math>, для <math>\alpha \neq 0</math>.
Если псевдообратная матрица для <math>A^*A</math> уже известна, она может быть использовано для вычисления <math>A^+</math>:
<math>A^+ = (A^*A)^+A^* </math>.
Аналогично, если матрица <math>(AA^*)^+</math> уже известна:
<math>A^+ = A^*(AA^*)^+ </math>.

Особые случаи

Если столбцы матрицы <math>A</math> линейно независимы, тогда матрица <math>A^* A</math> обратима. В таком случае псевдообратная матрица задаётся формулой:

<math>A^+ = (A^* A)^{-1} A^*</math>.

Это эквивалентно тому, что в первой части определения через предел убирается слагаемое с <math>\delta</math>. Отсюда следует что в этом случае <math>A^+</math> — левая обратная матрица для <math>A</math> : <math> A^+ A = I</math> .

Если строки матрицы <math>A</math> линейно независимы, тогда матрица <math>A A^*</math> обратима. В таком случае псевдообратная матрица задаётся формулой:

<math>A^+ = A^*(A A^*)^{-1}</math>.

Это эквивалентно тому, что во второй части определения через предел полагаем <math>\delta=0</math>. Отсюда следует, что в этом случае <math>A^+</math> — правая обратная матрица для A: <math>A A^+ = I</math>.

Если и столбцы, и строки линейно независимы (что верно для квадратных невырожденных матриц), то псевдообращение совпадает с обращением:

<math>A^+ = A^{-1}</math>.

Если <math>A</math> и <math>B</math> таковы, что произведение <math>AB</math> определено и:

либо <math>A^* A = I</math>,
либо <math>B B^* = I</math>,
либо столбцы <math>A</math> линейно независимы и строки <math>B</math> линейно независимы,

тогда

<math>(AB)^+ = B^+ A^+</math>.

Псевдообращение можно применять и к скалярам, и к векторам. Это подразумевает, что они рассматриваются как матрицы соответствующей размерности. Псевдообратный к скаляру <math>x</math> — ноль, если <math>x</math> — ноль, и обратный к <math>x</math> в противном случае:

<math>x^+ = \left\{\begin{matrix} 0, & x=0;

\\ x^{-1}, & x \ne 0. \end{matrix}\right. </math>

Псевдообратный для нулевого вектора — транспонированый нулевой вектор. Псевдообратный для ненулевого вектора — сопряжённый транспонированный вектор, делённый на квадрат своей длины:

<math>x^+ = \left\{\begin{matrix} 0^T, & x = 0;

\\ {x^* \over x^* x}, & x \ne 0. \end{matrix}\right. </math>

Для доказательства достаточно проверить, что эти величины удовлетворяют определению псевдообратных.

Происхождение

Если <math>(A^* A)^{-1}</math> существует, то из равенства:

следует

что порождает понятие псевдообращения

<math>A^+ = (A^* A)^{-1}A^*</math> .

Вычисление

Пусть <math>k</math> — ранг матрицы <math>A</math> размера <math>m \times n</math>. Тогда <math>A</math> может быть представлена как <math>A = BC</math>, где B — матрица размера <math>m \times k</math> с линейно независимыми столбцами и <math>C</math> — матрица размера <math>k \times n</math> с линейно независимыми строками. Тогда:

<math>

A^+ = C^*(CC^*)^{-1}(B^*B)^{-1}B^* </math>.

Если <math>A</math> имеет полнострочный ранг, то есть <math>k = m</math>, тогда в качестве <math>B</math> может быть выбрана единичная матрица и формула сокращается до <math>A^+ = A^*(AA^*)^{-1}</math>. Аналогично, если <math>A</math> имеет полностолбцовый ранг, то есть, <math>k = n</math>, то <math>A^+ = (A^*A)^{-1}A^*</math>.

Простейший вычислительный путь получения псевдообратной матрицы — использовать сингулярное разложение.

Если <math>A = U\Sigma V^*</math> — сингулярное разложение <math>A</math>, тогда <math>A^+ = V\Sigma^+ U^*</math>. Для диагональной матрицы, такой как <math>\Sigma</math>, псевдообратная получается из неё заменой каждого ненулевого элемента на диагонали на обратный к нему, с последующим транспонированием самой матрицы.

Существуют оптимизированые подходы вычисления псевдообратной для блочных матриц.

Иногда объём расчетов по нахождению псевдообратной матрицы можно сократить, если известна псевдообратная для некоторой аналогичной матрицы. В частности, если аналогичная матрица отличается от начальной на один изменённый, добавленный или удалённый столбец или строку — существуют накопительные алгоритмы, которые могут использовать взаимосвязь между матрицами.

Применение

Псевдообращение тесно связано с методом наименьших квадратов (МНК) для системы линейных уравнений^[3].

В этом методе задача решения данной системы <math>A x = b</math> заменяется задачей минимизации квадрата евклидовой нормы невязки <math>\|A x - b\|^2</math>. На практике МНК обычно используют когда исходная система <math>A x = b</math> несовместна, однако ниже мы рассмотрим случай когда эта система совместна.

Общее решение неоднородной системы <math>A x = b</math> представимо как сумма частного решения неоднородной системы и общего решения соответствующей однородной системы <math>A x = 0</math>.

Лемма: Если <math>(A A^*)^{-1}</math> существует, тогда общее решение <math>x</math> всегда представимо как сумма псевдообратного решения неоднородной системы и решения однородной системы:

Доказательство:

<math>Ax</math>	<math>=</math>	<math>A A^(A A^)^{-1}</math>	<math>b</math>	<math>+</math>	<math> A y - A A^(A A^)^{-1} A y</math>
<math>Ax</math>	<math>=</math>		<math>b</math>	<math>+</math>	<math> A y - A y</math>
<math>Ax</math>	<math>=</math>		<math>b</math>	.

Здесь вектор <math>y</math> произвольный (с точностью до размерности). В двух других членах есть псевдообратная матрица <math>A^*(A A^*)^{-1}</math>. Переписав её в форме <math>A^+</math>, приведём выражение к форме:

Первый член — псевдообратное решение. В терминах метода наименьших квадратов — это <math>x</math>, дающее минимальную евклидову норму для невязки. Следующий член даёт решение однородной системы <math>A x = 0</math>, потому что <math>A^+A = A^* (A A^*)^{-1} A</math> — оператор проектирования на образ оператора <math>A^*</math> и, соответственно, <math>(I - A^+ A)</math> — оператор проектирования на ядро оператора <math>A</math>.

Напишите отзыв о статье "Псевдообратная матрица"

Литература

↑ Э. Х. Мур (E. H. Moore): On the reciprocal of the general algebraic matrix. Bulletin of the American Mathematical Society 26, 394—395 (1920) www.ams.org/bull/1920-26-09/S0002-9904-1920-03322-7/S0002-9904-1920-03322-7.pdf
↑ Роджер Пенроуз: A generalized inverse for matrices. Proceedings of the Cambridge Philosophical Society 51, 406—413 (1955)
↑ Роджер Пенроуз: On best approximate solution of linear matrix equations. Proceedings of the Cambridge Philosophical Society 52, 17-19 (1956)
↑ Алберт А.: Регрессия, псевдоинверсия и рекуррентное оценивание. перев. с англ. Москва, «Наука», 224 с.(1977)
↑ Беклемишев Д. В.: Дополнительные главы линейной алгебры. Москва, Наука. (1983)

Отрывок, характеризующий Псевдообратная матрица

В это время дверь отворилась.
– Вот он, наконец, – закричал Ростов. – И Берг тут! Ах ты, петизанфан, але куше дормир , [Дети, идите ложиться спать,] – закричал он, повторяя слова няньки, над которыми они смеивались когда то вместе с Борисом.
– Батюшки! как ты переменился! – Борис встал навстречу Ростову, но, вставая, не забыл поддержать и поставить на место падавшие шахматы и хотел обнять своего друга, но Николай отсторонился от него. С тем особенным чувством молодости, которая боится битых дорог, хочет, не подражая другим, по новому, по своему выражать свои чувства, только бы не так, как выражают это, часто притворно, старшие, Николай хотел что нибудь особенное сделать при свидании с другом: он хотел как нибудь ущипнуть, толкнуть Бориса, но только никак не поцеловаться, как это делали все. Борис же, напротив, спокойно и дружелюбно обнял и три раза поцеловал Ростова.
Они полгода не видались почти; и в том возрасте, когда молодые люди делают первые шаги на пути жизни, оба нашли друг в друге огромные перемены, совершенно новые отражения тех обществ, в которых они сделали свои первые шаги жизни. Оба много переменились с своего последнего свидания и оба хотели поскорее выказать друг другу происшедшие в них перемены.
– Ах вы, полотеры проклятые! Чистенькие, свеженькие, точно с гулянья, не то, что мы грешные, армейщина, – говорил Ростов с новыми для Бориса баритонными звуками в голосе и армейскими ухватками, указывая на свои забрызганные грязью рейтузы.
Хозяйка немка высунулась из двери на громкий голос Ростова.
– Что, хорошенькая? – сказал он, подмигнув.
– Что ты так кричишь! Ты их напугаешь, – сказал Борис. – А я тебя не ждал нынче, – прибавил он. – Я вчера, только отдал тебе записку через одного знакомого адъютанта Кутузовского – Болконского. Я не думал, что он так скоро тебе доставит… Ну, что ты, как? Уже обстрелен? – спросил Борис.
Ростов, не отвечая, тряхнул по солдатскому Георгиевскому кресту, висевшему на снурках мундира, и, указывая на свою подвязанную руку, улыбаясь, взглянул на Берга.
– Как видишь, – сказал он.
– Вот как, да, да! – улыбаясь, сказал Борис, – а мы тоже славный поход сделали. Ведь ты знаешь, его высочество постоянно ехал при нашем полку, так что у нас были все удобства и все выгоды. В Польше что за приемы были, что за обеды, балы – я не могу тебе рассказать. И цесаревич очень милостив был ко всем нашим офицерам.
И оба приятеля рассказывали друг другу – один о своих гусарских кутежах и боевой жизни, другой о приятности и выгодах службы под командою высокопоставленных лиц и т. п.
– О гвардия! – сказал Ростов. – А вот что, пошли ка за вином.
Борис поморщился.
– Ежели непременно хочешь, – сказал он.
И, подойдя к кровати, из под чистых подушек достал кошелек и велел принести вина.
– Да, и тебе отдать деньги и письмо, – прибавил он.
Ростов взял письмо и, бросив на диван деньги, облокотился обеими руками на стол и стал читать. Он прочел несколько строк и злобно взглянул на Берга. Встретив его взгляд, Ростов закрыл лицо письмом.
– Однако денег вам порядочно прислали, – сказал Берг, глядя на тяжелый, вдавившийся в диван кошелек. – Вот мы так и жалованьем, граф, пробиваемся. Я вам скажу про себя…
– Вот что, Берг милый мой, – сказал Ростов, – когда вы получите из дома письмо и встретитесь с своим человеком, у которого вам захочется расспросить про всё, и я буду тут, я сейчас уйду, чтоб не мешать вам. Послушайте, уйдите, пожалуйста, куда нибудь, куда нибудь… к чорту! – крикнул он и тотчас же, схватив его за плечо и ласково глядя в его лицо, видимо, стараясь смягчить грубость своих слов, прибавил: – вы знаете, не сердитесь; милый, голубчик, я от души говорю, как нашему старому знакомому.
– Ах, помилуйте, граф, я очень понимаю, – сказал Берг, вставая и говоря в себя горловым голосом.
– Вы к хозяевам пойдите: они вас звали, – прибавил Борис.
Берг надел чистейший, без пятнушка и соринки, сюртучок, взбил перед зеркалом височки кверху, как носил Александр Павлович, и, убедившись по взгляду Ростова, что его сюртучок был замечен, с приятной улыбкой вышел из комнаты.
– Ах, какая я скотина, однако! – проговорил Ростов, читая письмо.
– А что?
– Ах, какая я свинья, однако, что я ни разу не писал и так напугал их. Ах, какая я свинья, – повторил он, вдруг покраснев. – Что же, пошли за вином Гаврилу! Ну, ладно, хватим! – сказал он…
В письмах родных было вложено еще рекомендательное письмо к князю Багратиону, которое, по совету Анны Михайловны, через знакомых достала старая графиня и посылала сыну, прося его снести по назначению и им воспользоваться.
– Вот глупости! Очень мне нужно, – сказал Ростов, бросая письмо под стол.
– Зачем ты это бросил? – спросил Борис.
– Письмо какое то рекомендательное, чорта ли мне в письме!
– Как чорта ли в письме? – поднимая и читая надпись, сказал Борис. – Письмо это очень нужное для тебя.
– Мне ничего не нужно, и я в адъютанты ни к кому не пойду.
– Отчего же? – спросил Борис.
– Лакейская должность!
– Ты всё такой же мечтатель, я вижу, – покачивая головой, сказал Борис.
– А ты всё такой же дипломат. Ну, да не в том дело… Ну, ты что? – спросил Ростов.
– Да вот, как видишь. До сих пор всё хорошо; но признаюсь, желал бы я очень попасть в адъютанты, а не оставаться во фронте.
– Зачем?
– Затем, что, уже раз пойдя по карьере военной службы, надо стараться делать, коль возможно, блестящую карьеру.
– Да, вот как! – сказал Ростов, видимо думая о другом.
Он пристально и вопросительно смотрел в глаза своему другу, видимо тщетно отыскивая разрешение какого то вопроса.
Старик Гаврило принес вино.
– Не послать ли теперь за Альфонс Карлычем? – сказал Борис. – Он выпьет с тобою, а я не могу.
– Пошли, пошли! Ну, что эта немчура? – сказал Ростов с презрительной улыбкой.
– Он очень, очень хороший, честный и приятный человек, – сказал Борис.
Ростов пристально еще раз посмотрел в глаза Борису и вздохнул. Берг вернулся, и за бутылкой вина разговор между тремя офицерами оживился. Гвардейцы рассказывали Ростову о своем походе, о том, как их чествовали в России, Польше и за границей. Рассказывали о словах и поступках их командира, великого князя, анекдоты о его доброте и вспыльчивости. Берг, как и обыкновенно, молчал, когда дело касалось не лично его, но по случаю анекдотов о вспыльчивости великого князя с наслаждением рассказал, как в Галиции ему удалось говорить с великим князем, когда он объезжал полки и гневался за неправильность движения. С приятной улыбкой на лице он рассказал, как великий князь, очень разгневанный, подъехав к нему, закричал: «Арнауты!» (Арнауты – была любимая поговорка цесаревича, когда он был в гневе) и потребовал ротного командира.
– Поверите ли, граф, я ничего не испугался, потому что я знал, что я прав. Я, знаете, граф, не хвалясь, могу сказать, что я приказы по полку наизусть знаю и устав тоже знаю, как Отче наш на небесех . Поэтому, граф, у меня по роте упущений не бывает. Вот моя совесть и спокойна. Я явился. (Берг привстал и представил в лицах, как он с рукой к козырьку явился. Действительно, трудно было изобразить в лице более почтительности и самодовольства.) Уж он меня пушил, как это говорится, пушил, пушил; пушил не на живот, а на смерть, как говорится; и «Арнауты», и черти, и в Сибирь, – говорил Берг, проницательно улыбаясь. – Я знаю, что я прав, и потому молчу: не так ли, граф? «Что, ты немой, что ли?» он закричал. Я всё молчу. Что ж вы думаете, граф? На другой день и в приказе не было: вот что значит не потеряться. Так то, граф, – говорил Берг, закуривая трубку и пуская колечки.
– Да, это славно, – улыбаясь, сказал Ростов.
Но Борис, заметив, что Ростов сбирался посмеяться над Бергом, искусно отклонил разговор. Он попросил Ростова рассказать о том, как и где он получил рану. Ростову это было приятно, и он начал рассказывать, во время рассказа всё более и более одушевляясь. Он рассказал им свое Шенграбенское дело совершенно так, как обыкновенно рассказывают про сражения участвовавшие в них, то есть так, как им хотелось бы, чтобы оно было, так, как они слыхали от других рассказчиков, так, как красивее было рассказывать, но совершенно не так, как оно было. Ростов был правдивый молодой человек, он ни за что умышленно не сказал бы неправды. Он начал рассказывать с намерением рассказать всё, как оно точно было, но незаметно, невольно и неизбежно для себя перешел в неправду. Ежели бы он рассказал правду этим слушателям, которые, как и он сам, слышали уже множество раз рассказы об атаках и составили себе определенное понятие о том, что такое была атака, и ожидали точно такого же рассказа, – или бы они не поверили ему, или, что еще хуже, подумали бы, что Ростов был сам виноват в том, что с ним не случилось того, что случается обыкновенно с рассказчиками кавалерийских атак. Не мог он им рассказать так просто, что поехали все рысью, он упал с лошади, свихнул руку и изо всех сил побежал в лес от француза. Кроме того, для того чтобы рассказать всё, как было, надо было сделать усилие над собой, чтобы рассказать только то, что было. Рассказать правду очень трудно; и молодые люди редко на это способны. Они ждали рассказа о том, как горел он весь в огне, сам себя не помня, как буря, налетал на каре; как врубался в него, рубил направо и налево; как сабля отведала мяса, и как он падал в изнеможении, и тому подобное. И он рассказал им всё это.

[1]

[2]

[3]