Loss Function, Cost Function, Objective Function의 차이

모델을 학습할 때는 비용(cost) 즉, 오류를 최소화하는 방향으로 진행이 된다.

비용이 최소화되는 곳이 성능이 가장 잘 나오는 부분이며, 가능한 비용이 적은 부분을 찾는 것이 최적화(Optimization)이고, 일반화(Generalization)의 방법이라고 할 수 있다.

이 비용(cost) 혹은 손실(loss)이 얼마나 있는지 나타내는 것이 비용 함수(Cost Function), 손실 함수(Loss Function)이라고 할 수 있다.

 

 

<Loss Function>

input(x)에 대한 예측값(y^)과 실제 label값(y) 사이의 오차를 계산하는 함수이다.

하나의 input data에 대해서 오차를 계산하는 함수를 Loss function이라고 한다.

<Cost Function>

모든 input dataset에 대해서 오차를 계산하는 함수를 Cost function이라고 한다.

따라서 Cost function은 모든 input dataset에 대해 계산한 Loss function의 평균 값으로 구할 수 있다.

 

<Objective Function>

학습을 통해 최적화시키려는 함수이다. 딥러닝에서는 일반적으로 학습을 통해 Cost를 최소화시키는 optimize작업을 수행을 하고 이때 Cost function을 Objective function이라 볼 수 있다. 하지만 Objective function에 꼭 Cost function만 있는 것은 아니다. 

---

 

<요약>

한 줄로 요약하자면 Objective Function >= Cost Function >= Loss function 이라 생각할 수 있다.

Objective Function가 가장 상위 개념이고 Cost Function과 Loss Function은 Object Function의 한 예라 볼 수 있다.

 

 

 

 

 

티스토리,"프라이데이",https://ganghee-lee.tistory.com/28(2022.06.26) 

네이버,"예비개발자",https://blog.naver.com/PostView.naver?blogId=qbxlvnf11&logNo=221386278997(2022.06.26)