[부스트코스]인공지능을 위한 선형대수 - 선형방정식과 선형 시스템

선형방정식(Linear Equation)

• 계수(a)와 곱한 변수(x)들의 합이 어떤 정수(b)와 같아지는 형태 
• b는 상수, a는 계수(coefficient)로 모두 실수에 속함

이 변수들을 다음과 같이 표현할 수도 있다.

소문자인데 진하게 표기한건 벡터를 나타낸다. 위와 같은 폼을 풀어서 쓰면 아래와 같은 형태가 된다.

연립 방정식(Linear System)

Set of Equations, 방정식의 집합

 

예제를 통한 풀이

어떤 사람의 키와 몸무게, 흡연여부등을 통해 수명을 예측할 때 가중치를 알고 싶다.

위의 식을 매트릭스 형태로 풀면 아래와 같은 행렬과 벡터를 얻을 수 있다.

1. 계수 행렬

2. 두 벡터

최종적으로 위의 방정식들은 다음과 같은 형태로 변형할 수 있다.

항등행렬(Indentity)

• 정방행렬(Square)에서 대각선만 1인게 항등행렬. 항등행렬인 이유는 어떤 행렬의 앞이나 뒤에 곱해도 그 행렬 자신이 나오기 때문에 항등행렬이라고 불린다.

역행렬

• 어떤 행렬에 왼쪽이나 오른쪽에 곱하면 항등행렬이 나오는게 역행렬

 

2X2 행렬 A에 대해서 A의 역행렬은 다음과 같이 정의한다.

여기서 ad-bd는 판별식(determinant)로 det로 표기한다.

* 아주 큰 매트릭스에서 역행렬을 구하는 경우는 Gaussian Elimination을 참조하면 된다.

 

그렇다면 위의 정의에 대해서 Ax = b는 다음과 같이 풀이할 수 있다.

위의 예제는 다음과 같이 풀이할 수 있다.

 

만약에 역행렬이 없다면 어떻게 풀이할까?

일반적으로 유일한 해가 얻어지지만, 역행렬이 없는 경우중 하나는 위의 역행렬의 정의에서 ad-bc=0이 되는 경우다. 이렇게 될 경우 ad=bc이고 최종적으로 a:b=c:d일때 역행렬이 없다는걸 알 수 있다. 즉, 비율이 같아서 소거가 안 될 때 해가 무수히 많다고 생각할 수 있다.

해가 없는 경우의 예: 0x + 0y = 1

해가 무수한 경우: x+2y=3, 2x+6y=6

 

머신러닝적으로 위의 경우도 근사적으로 만족하는 테크닉을 사용할 수 있다. -> 향후 학습에서 다룸