線性代數複習-part1

參考李宏毅老師課程

基本名詞

• Transpose:轉置
  

  

  Transpose

• Identity matrix(I):單位矩陣
  任何矩陣與Identity相乘都不會有改變。
  
  

  

  單位矩陣

• Domain
  ex.
  

  

• (one to one) and (into)
  wiki

• consistent相容、inconsistent矛盾
  一個方程式若consistent表示有解，inconsistent表示無解

• Homogeneous 齊次
  一個線性方程沒有偏移量，常數項為零，則稱為線性齊次方程，至少會有一組解。

• Span
  

  
  
  
  

系統(system)

一個系統有輸入與輸出，可以看做一個function、transformation、operator。

線性系統(linear system)

• 性質
  １．若
  ２．若
  則為一個線性系統，微分與積分符合這兩樣特性，微分與積分為線性系統。

基本numpy矩陣相乘

設置矩陣

1.內積
wiki( https://zh.wikipedia.org/wiki/%E7%82%B9%E7%A7%AF)

2.外積
wiki( https://zh.wikipedia.org/wiki/%E5%A4%96%E7%A7%AF)

3.對應值相乘

向量、矩陣與坐標軸關係

1. 若將聯立方程式以row作為向量於座標軸中，則向量的垂線加上偏移等於方程式於座標中的圖形，若多個圖形有交點則有解(每一個交點為一解)。
2. 若將聯立方程式以column作為向量於座標軸中，若有解，表示"變數項的column向量"能通過乘倍數與相互加減成"常數項的column向量"。

• 二維
  row、column觀察矩陣:
  
  
  
  
  
  
  row、column觀察座標:
  

1. 線不同方向彼此線性獨立，所以有唯一解
2. 的垂線(藍線與紅線)(向量方向為正)，，各軸偏移:。
3. 兩線交點為方程式的解
4. 補充:向量方向的代入得正數，反方向的得負數，若在線上得零
   
5. ，若各乘上某係數相加能指到表示此方程有解。
   
   

• 三維
  row、column觀察矩陣：
  
  
  
  
  
  
  
  row、column觀察座標：
  

1. 不同平面上彼此線性獨立，所以有唯一解
2. 這3個向量，各自為這三個平面的法向量，各軸偏移:，三線交點為方程式的解，黃球為交點
3. 補充:向量方向的代入得正數，反方向的得負數，若在線上得零
   
4. 乘後三向量相加等於，若各乘上某係數後相加能指到表示此方程有解。
   
   

   row
   

   row
   

   column

Span

矩陣column的向量集S(vector set或向量空間)，他的線性組合就稱為Span S，也可以說是S generation Span S。

• solution解
  若b的向量空間屬於Span {column of A}，則有解。
  
  

相依Dependent、獨立Independent

• 定義
  在線性代數裏，向量空間的一組元素中，若沒有向量可用有限個其他向量的線性組合所表示，則稱為線性無關或線性獨立（linearly independent），反之稱為線性相關（linearly dependent）。
  ，一組vector set
  ，一組vector set的係數
  ，一組線性方程
  --
  若，
  1.在任何不全為零的狀況下成立，那麼此方程為Dependent，
  2.若只有在成立，那麼此方程為Independent 。
  

  

• 另一個觀點
  1.若一個A的vector set，能找到一個ai能由其他A的元素線性組合而成，則此A的線性組合為Dependent，若有任意一個ai為Zero vector(零向量)則必為Dependent。
  

  

• 例子
  

  

  Dependent
  

  Dependent
  

  Independent

• 與Solution(解)的關係
  1.若線性組合，Dependent(相依)，則線性方程為無解或有無限多組解。
  2.若線性組合，Independent ，則線性方程為具有唯一解。

Rank(秩)與Nullity(零化度)

• 定義
  一個矩陣中從中挑選數個column出來，他們的線性組合能為獨立，挑選出來的個數最大值為Rank(秩)，
  所以矩陣若為獨立，則Rank = 矩陣的column數。
  
  
• 例
  
  
  

判斷是否有解

等價

高斯消去法

以前的筆記

• augmented matrix(擴增矩陣)
  

  

• 3個操作
  

  

Reduced Row Echelon Form(RREF)

Row Echelon Form：
1..若有row為零，必須在矩陣的最下方。
2..leading entries(pivot)，row的第一個非零數，必須為梯形。
Reduced Row Echelon Form：
1..若有row為零，必須在矩陣的最下方。
2..leading entries(pivot)，row的第一個非零數，必須為梯形。
3..leading entries(pivot)必須為單位向量。
Reduced Row Echelon Form(RREF)在一個矩陣中是唯一的。

• pviot column
  

  

• RREF找解
  若有free variables則為無限多組解，若有row只有一個非零於最後一column則無解。
  

  
  
  

• 高斯消去法示例
  

  

• 判斷向量集是獨立或相依
  將向量集A與x做線性組合，解完高斯消去後若能找到一組非零的x能使向量集等於零，此向量集為相依，pviot column數 不等於 A column數為相依。
  

  
  

RREF 其他應用

• Column Correspondence Theorem
  1.若某一個向量集A裡面有某，則RREF的
  2.若Ax=0則做高斯消去b不管怎麼消一定還是等於0，所以Ax=0，Rx=0，有一樣的解。
  

  
  

• RREF v.s. Independent
  1.只要是獨立的Column(被Rank選中的column)，在RREF上一定是 pviot column，一個pviot column可以解出一個未知數
  回想(前面說過): 矩陣若為獨立，則Rank = 矩陣的column數。
  2.所以只要矩陣是獨立的那麼RREF所有column都必須是pviot column
  

  
  
  
  

• RREF v.s Rank
  1.A的Rank = RREF的Rank
  2.如果，則
  3.Rank=RREF能得到的非free變量數目，Nullity=RREF能得到的free變量數目
  

  

• RREF v.s consistent(有解)
  因為RREF有幾個pviot等於有幾個非零的row，也等於Rank A
  而無解在[A b]的RREF會多出只有b cloumn為非零的非零row
  

  
  
  所以，就表示無解，則有解
  
  

• A在任何b皆consistent(有解)
  A在任何b皆consistent(有解)：
  1.，若RREF A有zero row，則代入任何b後，[A b]可能為"無解"或有解，可以由無解的反推b，必定有b能使之成立。
  2.A的RREF不能有zero row，此時，m = b number of row
  3.因為無解必須滿足:
  條件一:A RREF沒有zero row
  條件二:row的b為not zero
  結論:因為條件一不成立，所以時，A在任何b皆consistent(有解)。
  

  
  

• 任何b皆consistent(有解) 與 座標關係
  任何b皆consistent(有解) 等於"Rank A = m"，假設Rank = 3 = m，代表有3個獨立Vector column(下圖不透明之藍、綠、紅)，可以Span(線性組合成整個3維空間)，此時因為m = b，b一定3維，一定能由3個獨立Vector線性組合而成，所以必定有解。
  例如:
  Rank = 3 = m時，n無論是等於m或大於m，大於m只是在3維空間中增加其他向量，還是涵蓋在3維中，所以"Rank A = m"時，有沒有解與n無關。
  得出另一個結論:
  ，所以如果n>m則必定是dependent，因為多出的向量必定涵蓋在m維中，一定能由m個向量線性組合而成。
  

  

• Rank = m，Rank = n