공부일지

비선형 활성화 함수(Activation Funtions) ✨참고 https://wikidocs.net/60683 06-06 비선형 활성화 함수(Activation function) 비선형 활성화 함수(Activation function)는 입력을 받아 수학적 변환을 수행하고 출력을 생성하는 함수입니다. 앞서 배운 시그모이드 함수나 소프트맥스 함수는 대표적인… wikidocs.net 비선형 활성화 함수(Activation function)는 입력을 받아 수학적 변환을 수행하고 출력을 생성하는 함수입니다. 비선형 활성화 함수는 신경망의 성능을 향상시키기 위해 사용되며 선형 함수는 입력값과 가중치를 곱한 결과를 그대로 출력하기 때문에 신경망에서 여러개의 활성화 함수를 사용한다면 최종 출력값은 입력값과 가중치의..

논리 회귀(단층 퍼셉트론)로 AND 문제 풀기 위 문제가 주어졌을 때 논리회귀를 이용하여 AND 문제를 풀어보자. X = torch.FloatTensor([[0, 0], [0, 1], [1, 0], [1, 1]]) y = torch.FloatTensor([[0], [0], [0], [1]]) 우선 위 이미지처럼 [A,B]를 Input 값이라고 가정했을때 각 A, B를 x로 Output을 y로 선언해준다. AND 문제란 두 값이 전부 1일때 값이 1 로 출력되어야한다. model = nn.Sequential( nn.Linear(2, 1), nn.Sigmoid() ) nn.Sequential을 사용하여 nn.Linear 선형 레이어와 Sigmoid() 함수를 이용하여 신경망을 정의해줍니다. optimizer..

딥러닝(Deep Learning) 이란? ✨참고 https://www.thedatahunt.com/trend-insight/deep-learning https://sacko.tistory.com/10 문과생도 이해하는 딥러닝 (1) - 퍼셉트론 Perceptron 퍼셉트론 Perceptron문과생도 이해하는 딥러닝 (1) 딥러닝이라는 말이 학계, 업계 어디든 할 것 없이 엄청난 화두이다. 그래도 아직까지는 기계학습이면 충분하지만 점점 더 인공지능과 관련된 신 sacko.tistory.com Deep learning (딥 러닝) 이란? 정의, 원리, 활용 인공지능 기술 중 하나인 딥 러닝은 컴퓨터가 사람처럼 생각하고 배울 수 있도록 하는 인공 신경망 기반의 머신러닝 기술입니다. 최근에는 이미지/비디오부터 ..

경사하강법(Gradient descent) ✨ 참고 https://twojun-space.tistory.com/124 [머신 러닝] - 경사 하강법(Gradient descent) 금일(2023-03-13) 학부에서 머신러닝 수업 중, 기계 학습의 핵심이라고 언급해 주셨던 "경사 하강법(Gradient descent)"에 대해 추가적인 스터디가 필요했고, 이 부분에 대해 간략하게 정리한 글입니다. 1 twojun-space.tistory.com 경사하강법(Gradient descent)은 기계 학습과 최적화에서 매우 중요한 알고리즘 중 하나입니다, 이 알고리즘은 함수의 갑이 낮아지는 방향으로 각 독립변수들의 값을 변형시키면서 함수가 최솟값을 갖도록 하는 탐색 방법을 의미합니다. 특히 기계학습에서 모델의 ..

단항 논리회귀(Logistic Regression) ✨ 참고 https://wikidocs.net/57805 04-01 로지스틱 회귀(Logistic Regression) 일상 속 풀고자하는 많은 문제 중에서는 두 개의 선택지 중에서 정답을 고르는 문제가 많습니다. 예를 들어 시험을 봤는데 이 시험 점수가 합격인지 불합격인지가 궁금할 수도 있고, … wikidocs.net 일상 속 풀고자하는 많은 문제 중에서는 두 개의 선택지중에 정답을 고르는 문제가 많다. 예를 들어 시험을 봤는데 시험 결과가 합격인지 불합격인지, 메일을 받았을 때 해당 메일이 스팸메일인지 정상 메일인지 이렇게 둘 중 하나를 결정하는 문제를 이진 분류(Binry Classification)라고 하는데 이 이진 분류를 풀기위한 대표적인 ..

파이토치 다중 선형 회귀 다중 선형 회귀(Multiple Linear Regression) import torch import torch.nn as nn import torch.optim as optim import matplotlib.pyplot as plt 필요한 라이브러리, 모델들을 import 해준다. x_train = torch.FloatTensor([[73, 80, 75], [93, 88, 93], [89, 91, 90], [96, 98, 100], [73, 66, 70]]) y_train = torch.FloatTensor([[150], [190], [180], [200], [130]]) print(x_train, x_train.shape) print(y_train, y_train.shape..

파이토치 선형회귀 import torch import torch.nn as nn import torch.optim as optim import matplotlib.pyplot as plt 필요한 라이브러리, 모델들을 import 해준다. torch.manual_seed(2024) # 처음에는 랜덤값이 뽑히지만 다시 랜덤으로 뽑을 경우 같은 값으로 뽑기 위한 작업 x_train = torch.FloatTensor([[1],[2],[3]]) y_train = torch.FloatTensor([[2],[4],[6]]) print(x_train, x_train.shape) print(y_train, y_train.shape) x_train과 y_train 변수를 만든 후 FloatTensor() 함수를 이용하여..

파이토치(PyTorch)의 주요 함수 torch.ones() ones()는 1의 값을 갖는 tensor를 생성하는 함수이다. 💻 코드 a = torch.ones(2, 3) print(a) ✔결과 tensor([[1., 1., 1.], [1., 1., 1.]]) torch.zeros() zeros()는 0의 값을 갖는 tensor를 생성하는 함수이다. 💻 코드 b = torch.zeros(2 ,3) print(b) ✔결과 tensor([[0., 0., 0.], [0., 0., 0.]]) torch.full() full((행,렬,) 값)은 옵션으로 입력한 값으로 tensor를 생성하는 함수이다. 💻 코드 c = torch.full((2, 3), 10) print(c) ✔결과 tensor([[10, 10, 1..

파이토치(PyTorch) 파이토치(PyTorch)는 파이썬 기반의 오픈 소스 머신러닝 라이브러리로 페이스북 인공지능 연구집단에 의해 개발되었다. 간결하고 구현이 빠르며 텐서플로우보다 사용자가 익히기 훨씬 쉽다는 특징이 있다. 파이토치의 장점 설치가 간편하다 이해와 디버깅이 쉬운 직관적이고 간결한 코드로 구성되어있다. 다양한 모델 구축이 가능하다. 동적 계산 그래프 파이토치의 기초 요소 스칼라(Scalar) 스칼라(scalar)는 우리가 흔히 수학에서 부르는 상수값이라고 보면 된다. 💻 코드 var1 = torch.tensor([1]) print(var1) # 값 출력 ✔결과 tensor([1]) 벡터(Vector) 벡터(vector)는 수학 개념으로 크기와 방향을 갖는 물리량을 의미한다. 상수가 두개 이..

앙상블(Ensemble) Ensemble Learning 여러개의 머신러닝 모델을 이용해 최적의 답을 찾아내는 기법을 사용하는 모델 test 데이터에 대해 다양한 의견(예측값)을 수렴하기 위해 overfitting(과적합)이 잘 되는 모델을 기본적으로 사용하며, Tree기반 모델(Boosting, RandomForest)을 자주 사용한다. 앙상블은 overfitting(과적합) 감소 효과가 있으며, 개별 모델 성능이 잘 나오지 않을 때 앙상블 학습을 이용하면 성능이 향상될 수 있다. 앙상블 학습의 유형은 보팅(Voting), 배깅(Bagging), 부스팅(Boosting), 스태킹(Stacking)이 있다. 1. 보팅(Voting) 서로 다른 알고리즘 model을 조합해서 사용한다. 모델에 대해 투표로 ..