[머신러닝&딥러닝] 딥러닝(Deep Learning)

딥러닝(Deep Learning) 이란?

✨참고

https://www.thedatahunt.com/trend-insight/deep-learning

https://sacko.tistory.com/10

문과생도 이해하는 딥러닝 (1) - 퍼셉트론 Perceptron

Deep learning (딥 러닝) 이란? 정의, 원리, 활용

 

딥 러닝(Deep Learning)은 머신 러닝(Machine Learning)의 분야로서 인공 신경망(Artificial Neural Network)의 층을 연속적으로 깊게 쌓아올려 데이터를 학습하는 방식입니다. 

인공지능, 기계학습, 딥러닝의 관계 (출처: 지방공기업 웹진)

 

신경계에는 엄청난 수의 뉴런이 포함되어 있고, 서로 복잡한 구조로 얽혀 거대한 망을 구성하는데 이를 "신경망"이라고 합니다. 머신러닝 과학자들은 신경망의 구조에 착안하여 퍼셉트론을 하나의 빌딩 블록(Building block)이라 생각하고, 여러 개의 퍼셉트론을 연결하여 인공 신경망이라는 개념을 고안하냈습니다. 딥(deep)이란, 이처럼 연결된 구조로 만들어진 층(layer)에서 학습한다는 개념을 의미합니다.

---

💻 퍼셉트론(Perceptron)

인공 신경망 모형의 하나인 퍼셉트론은 1957년에 Rosenblatt이라는 사람에 의해서 처음 고안되었다. 퍼셉트론은 다수의 신호(Input)을 입력받아 하나의 신호(Output)을 출력한다. 이는 뉴런이 전기 신호를 내보내 정보를 전달하는 것과 비슷하게 보인다. 퍼셉트론 weight(가중치)는 각각의 입력신호에 부여되어 입력신화와의 계산을 하고 신호의 총합이 정해진 임계값을 넘었을 때 1을 출력한다.

 

각 입력신호에는 고유한 weight가 부여되며 weight가 클수록 해당 신호가 중요하다고 볼 수 있다.

여기서 기계학습이 하는 일은 이 weight(입력을 조절하니 매개변수로도 볼 수 있음)의 값을 정하는 작업이라고 할 수 있다.학습 알고리즘에 따라 방식이 다를 뿐 이 weight를 만들어내는 것이 학습이라는 차원에서는  모두 같다고 할 수 있다.

 

출처: https://sacko.tistory.com/10 [데이터 분석하는 문과생, 싸코:티스토리]

 

💻 퍼셉트론(Perceptron) 학습방법

처음에는 임의로 설정된 weight로 시잔한다. 학습 데이터를 퍼셉트론 모형에 입력하면  분류가 잘못됐을 때 weight를 개선해 나간다.  퍼셉트론은 모든 학습 데이터를 정확히 분류시킬 때까지 학습이 진행되기 때문에 학습 데이터가 선형적으로 분리 될 수 있을 때 적합한 알고리즘이다. 선형분류는 아래와 같이 선으로 분류하는 것을 의미한다. 학습이 반복될수록 선의 기울기가 달라지는 것을 볼 수 있다. 학습을 하면서 weight가 계속 조정되는 것이다.

출처: https://en.wikipedia.org/wiki/Perceptron

---

💻 가중치와 편향

앞의 퍼셉트론 수식에서 나오는 세타θ를 -b로 치환하여 좌변으로 넘기면 

b + w1x1 + w2x2 <0    => 0

b + w1x1 + w2x2 >=0  => 1

과 같이 되며 여기에서 b를 편향(bias)라고 할 수 있다. 기계학습 분야에서는 모델이 학습 데이터에 과적합(overfitting)되는 것을 방지하는 것이 중요하다. 

 

편향이 높을 수록 모델이 간단해지는 경향이 있으며 오히려 과소적합(underfitting)의 위험이 발생하게 된다. 반대로 편향이 낮을수록 한계점이 낮아 데이터이ㅡ 허용범위가 넓어지는 만큼 학습 데이터에만 잘 들어맞는 모델이 만들어질 수 있으며 모델이 더욱 복잡해진다.

 

요약하면 가중치(weight)는 입력신호가 결과 출력에 주는 영향도를 조절하는 매개변수이고, 편향(bias)은 뉴런이 얼마나 쉽게 활성화 되느냐를 조정하는 매개변수이다.