Grundlagen der Matrix-Algebra

Wir erinnern zunächst an einige grundlegende Begriffe und Ergebnisse der Matrix-Algebra, die bei der Minimierung des mittleren quadratischen Fehlers $e({\boldsymbol{\beta}})$ in (6) nützlich sind.

Lemma 3.1   Sei ${\mathbf{A}}$ eine $n\times m$ Matrix mit $n\ge m$ und ${\,{\rm rg}}({\mathbf{A}})=m$. Dann gilt auch ${\,{\rm rg}}({\mathbf{A}}^\top{\mathbf{A}})=m$, wobei ${\mathbf{A}}^\top$ die transponierte $m\times n$ Matrix bezeichnet, die sich durch Vertauschung der Zeilen und Spalten von ${\mathbf{A}}$ ergibt.

Beweis

 

• Es ist klar, daß der Rang ${\,{\rm rg}}({\mathbf{A}}^\top{\mathbf{A}})$ der $m\times m$ Matrix ${\mathbf{A}}^\top{\mathbf{A}}$ nicht größer als $m$ sein kann.
• Wir nehmen nun an, daß ${\,{\rm rg}}({\mathbf{A}}^\top{\mathbf{A}})<m$. Dann gibt es einen Vektor ${\mathbf{c}}=(c_1,\ldots,c_m)^\top\in\mathbb{R}^m$, so daß ${\mathbf{c}}\not={\mathbf{o}}$ und ${\mathbf{A}}^\top{\mathbf{A}}{\mathbf{c}}={\mathbf{o}}$.
• Hieraus folgt, daß auch ${\mathbf{c}}^\top{\mathbf{A}}^\top{\mathbf{A}}{\mathbf{c}}={\mathbf{o}}$ bzw. $({\mathbf{A}}{\mathbf{c}})^\top({\mathbf{A}}{\mathbf{c}})={\mathbf{o}}$, d.h. ${\mathbf{A}}{\mathbf{c}}={\mathbf{o}}$.
• Dies ist jedoch ein Widerspruch zu der Voraussetzung, daß ${\,{\rm rg}}({\mathbf{A}})=m$.
  
  $\Box$

Definition

 

• Sei ${\mathbf{A}}$ eine beliebige $m\times m$ Matrix.
• Wenn es eine $m\times m$ Matrix ${\mathbf{B}}$ gibt, so daß ${\mathbf{A}}{\mathbf{B}}={\mathbf{B}}{\mathbf{A}}={\mathbf{I}}$, wobei ${\mathbf{I}}=(\delta_{ij})$ die $m$-dimensionale Einheitsmatrix bezeichnet mit
  $$\delta_{ij}=\left\{\begin{array}{ll} 1\,, & \mbox{falls $i=j$,}\\ 0\,, & \mbox{falls $i\not=j$,} \end{array}\right.$$
  dann heißt ${\mathbf{B}}$ inverse Matrix von ${\mathbf{A}}$.
• In diesem Fall heißt die Matrix ${\mathbf{A}}$ regulär; anderenfalls heißt ${\mathbf{A}}$ singulär.

Lemma 3.2    

1.

Die inverse Matrix einer regulären Marix ${\mathbf{A}}$ ist eindeutig bestimmt (und wird mit ${\mathbf{A}}^{-1}$ bezeichnet).

2.

Seien ${\mathbf{A}}$ und ${\mathbf{B}}$ reguläre $m\times m$ Matrizen. Dann sind auch ${\mathbf{A}}{\mathbf{B}}$, ${\mathbf{A}}^\top$ und ${\mathbf{A}}^{-1}$ regulär, und es gilt

$$({\mathbf{A}}{\mathbf{B}})^{-1}={\mathbf{B}}^{-1}{\mathbf{A}}^{-1... ...{-1}=({\mathbf{A}}^{-1})^\top\,,\qquad ({\mathbf{A}}^{-1})^{-1}={\mathbf{A}}\,.$$ (7)

Beweis

 

• Um die Teilaussage 1 zu zeigen, führen wir einen indirekten Beweis.
• Wir nehmen also an, daß ${\mathbf{B}}_1$ und ${\mathbf{B}}_2$ zwei inverse Matrizen von ${\mathbf{A}}$ sind. Dann gilt ${\mathbf{B}}_2{\mathbf{A}}={\mathbf{I}}$ und somit
  $${\mathbf{B}}_2{\mathbf{A}}{\mathbf{B}}_1={\mathbf{B}}_1\,.$$

• Hieraus und aus ${\mathbf{A}}{\mathbf{B}}_1={\mathbf{I}}$ folgt, daß ${\mathbf{B}}_2={\mathbf{B}}_1$. Damit ist die erste Teilaussage bewiesen.
• Außerdem gilt
  

  $$({\mathbf{A}}{\mathbf{B}})({\mathbf{B}}^{-1}{\mathbf{A}}^{-1}) = {\mathbf{A}}({\mathbf{B}}{\mathbf{B}}^{-1}){\mathbf{A}}^{-1}$$

  $$= {\mathbf{A}}{\mathbf{A}}^{-1}={\mathbf{I}}\,.$$

  
  

• Damit ist gezeigt, daß ${\mathbf{A}}{\mathbf{B}}$ regulär ist und daß $({\mathbf{A}}{\mathbf{B}})^{-1}={\mathbf{B}}^{-1}{\mathbf{A}}^{-1}$.
• Aus ${\mathbf{A}}^\top({\mathbf{A}}^{-1})^\top=({\mathbf{A}}^{-1}{\mathbf{A}})^\top={\mathbf{I}}$ folgt, daß die transponierte Matrix ${\mathbf{A}}^\top$ regulär ist mit der inversen Matrix $({\mathbf{A}}^{-1})^\top$.
• Schließlich ist klar, daß die inverse Matrix ${\mathbf{A}}^{-1}$ der regulären Matrix ${\mathbf{A}}$ regulär ist mit der inversen Matrix $({\mathbf{A}}^{-1})^{-1}={\mathbf{A}}$, denn es gilt ${\mathbf{A}}^{-1}{\mathbf{A}}={\mathbf{I}}$.
  
  $\Box$

Definition

$\;$ Sei ${\mathbf{A}}=(a_{ij})$ eine beliebige $m\times m$ Matrix. Die Determinante $\det{\mathbf{A}}$ von ${\mathbf{A}}$ ist dann gegeben durch

$$\det{\mathbf{A}}=\sum\limits_{{\boldsymbol{\pi}}} (-1)^{r({\boldsymbol{\pi}})}a_{1\pi_1}\ldots a_{m\pi_m}\,,$$ (8)

wobei sich die Summation über alle $m!$ Permutationen ${\boldsymbol{\pi}}=(\pi_1,\ldots,\pi_m)$ der natürlichen Zahlen $1,\ldots,m$ erstreckt und $r({\boldsymbol{\pi}})$ die Anzahl der Zahlenpaare in ${\boldsymbol{\pi}}$ ist, die sich nicht in der natürlichen Ordnung befinden.

Beachte

 

• Unmittelbar aus der Definitionsgleichung (8) der Determinante ergibt sich, daß
  • die Determinante der Einheitsmatrix ${\mathbf{I}}$ gleich $1$ ist,
  • das Vorzeichen von $\det{\mathbf{A}}$ sich ändert, wenn zwei Zeilen oder zwei Spalten von ${\mathbf{A}}$ miteinander vertauscht werden,
  • $\det{\mathbf{A}}=0$, wenn ${\mathbf{A}}$ zwei identische Zeilen oder zwei identische Spalten hat.
• Außerdem gelten die folgenden rekursiven Darstellungsformeln, die wir hier ohne Beweis angeben.

Lemma 3.3    

• Sei ${\mathbf{A}}=(a_{ij})$ eine beliebige $m\times m$ Matrix, und sei ${\mathbf{A}}_{ij}$ die $(m-1)\times (m-1)$ Matrix, die sich durch das Streichen der $i$-ten Zeile und $j$-ten Spalte von ${\mathbf{A}}$ ergibt.
• Dann gilt

  $$\det{\mathbf{A}}=\sum\limits_{i=1}^m (-1)^{i+j} a_{ij} \det{\mathbf{A}}_{ij}\,,\qquad\forall\, j=1,\ldots,m$$ (9)

  
  
  und

  $$\det{\mathbf{A}}=\sum\limits_{j=1}^m (-1)^{i+j} a_{ij} \det{\mathbf{A}}_{ij}\,,\qquad\forall\, i=1,\ldots,m\,.$$ (10)

  
  

Beachte

 

• Aus (9) und (10) ergibt sich die Gültigkeit von

  $$\det{\mathbf{A}}=\det{\mathbf{A}}^\top\,.$$ (11)

  
  

• Außerdem ist die folgende Faktorisierungseigenschaft der Determinante von Matrix-Produkten nützlich, die wir ebenfalls ohne Beweis angeben.

Lemma 3.4   $\;$ Seien ${\mathbf{A}}=(a_{ij})$ und ${\mathbf{B}}=(b_{ij})$ beliebige $m\times m$ Matrizen. Dann gilt

$$\det({\mathbf{A}}{\mathbf{B}})=\det{\mathbf{A}}\det{\mathbf{B}}\,.$$ (12)

Schließlich erwähnen wir (zum Teil ohne Beweis) die folgende Charakterisierung der Regularität einer quadratischen Matrix mit Hilfe von Rang bzw. Determinante.

Theorem 3.1   $\;$ Sei ${\mathbf{A}}=(a_{ij})$ eine beliebige $m\times m$ Matrix. Dann sind die folgenden Aussagen äquivalent:

1.

${\mathbf{A}}$ ist regulär.

2.

${\mathbf{A}}$ besitzt vollen Rang, d.h. ${\,{\rm rg}}({\mathbf{A}})=m$.

3.

Es gilt $\det{\mathbf{A}}\not=0$.

Beachte

 

• Die Implikation ${\rm 1.} \Longrightarrow {\rm 3.}$ in Theorem 3.1 ergibt sich unmittelbar aus der in Lemma 3.4 erwähnten Faktorisierungseigenschaft der Determinante von Matrix-Produkten , denn aus
  $$\det{\mathbf{A}}\det{\mathbf{A}}^{-1}=\det\bigl({\mathbf{A}}{\mathbf{A}}^{-1}\bigr)=\det{\mathbf{I}}=1$$
  ergibt sich, daß $\det{\mathbf{A}}\not=0$.
• Umgekehrt ergibt sich die Implikation ${\rm 3.} \Longrightarrow {\rm 1.}$ auf die folgende Weise aus den in Lemma 3.3 angegebenen rekursiven Darstellungsformeln der Determinante.
• In diesem Zusammenhang ist der folgende Begriff nützlich: Die Matrix ${\mathbf{A}}^*=(a^*_{ji})$ mit

  $$a^*_{ij}=(-1)^{i+j} \det{\mathbf{A}}_{ij}$$ (13)

  
  
  heißt die zu ${\mathbf{A}}$ adjungierte Matrix.
• Aus den Rekursionsformeln (9) bzw. (10) und aus der Tatsache, daß die Determinante von Matrizen mit zwei identischen Zeilen oder zwei identischen Spalten gleich Null ist, ergibt sich nun, daß
  

  $${\mathbf{A}}{\mathbf{A}}^* = \left(\begin{array}{cccc} a_{11} & a_{12} & \ldots & a_{1m}\\ \v... ...\vdots & & \vdots\\ a^*_{1m} & a^*_{2m} & \ldots & a^*_{mm} \end{array}\right)$$

  $$= \left(\begin{array}{cccc} \det{\mathbf{A}}& 0 & \ldots & 0\\ 0 &... ...& 0 & \ldots & \det{\mathbf{A}} \end{array}\right) = {\mathbf{A}}^*{\mathbf{A}}$$

  
  
  bzw.
  $${\mathbf{A}}{\mathbf{A}}^*={\mathbf{A}}^*{\mathbf{A}}=(\det{\mathbf{A}}){\mathbf{I}}\,.$$

• Hieraus folgt, daß ${\mathbf{A}}$ regulär ist, falls $\det{\mathbf{A}}\not=0$, und daß in diesem Fall

  $${\mathbf{A}}^{-1}=\frac{{\mathbf{A}}^*}{\det{\mathbf{A}}}\;.$$ (14)