pytorch (5) 썸네일형 리스트형 [ML] 과적합(Overfitting)을 막는 방법들 모델의 과적합은 모델의 성능을 낮추는 주요 이슈입니다. 과적합을 막는 방법을 간단히 알아보겠습니다. 1. 데이터의 양을 늘리기 데이터의 양이 적을 경우, 데이터의 특정 패턴이나 노이즈를 쉽게 학습하여 과적합 현상 발생 확률이 증가합니다. 데이터의 양을 늘릴 수록 모델은 데이터의 일반적인 패턴을 학습하여 과적합을 방지할 수 있습니다. 의도적으로 기존의 데이터를 조금씩 변형하고 추가하여 데이터의 양을 늘리기도 하는데 이를 데이터 증식 또는 증강 (Data Augmentation)이라고 합니다. 이미지의 경우 데이터 증식이 많이 사용됩니다. (회전, 노이즈, 일부 수정 등) 2. 모델의 복잡도 줄이기 인공 신경망의 복잡도는 은닉층의 수나 매개변수의 수 등으로 결정됩니다. 과적합 현상이 포착됐을 때, 인공 신경.. [ML] pytorch로 다층 퍼셉트론 구현하여 손글씨 분류 1. 숫자 필기 데이터 소개 숫자 필기 데이터는 사이킷런 패키지에서 제공하는 분류용 예제 데이터입니다. 0부터 9까지의 숫자를 손으로 쓴 이미지 데이터입니다. 각 이미지는 0부터 15까지의 명암을 가지는 8 x 8 = 64 픽셀 해상도의 흑백 이미지입니다. 해당 이미지가 1,797개 있습니다. load_digits()를 통해 이미지 데이터를 로드할 수 있습니다. 로드한 전체 데이터를 digits에 저장합니다. %matplotlib inline import matplotlib.pyplot as plt # 시각화를 위한 모듈 임포트 from sklearn.datasets import load_digits digits = load_digits() # 1,979개의 이미지 데이터 로드첫 번째 샘플을 출력해보겠습.. [ML] 인공신경망 비선형 활성화함수 (Activation Function) 1.활성화 함수의 특징 - 비선형 함수(Nonlinear function) 비선형 활성화 함수는 입력을 받아 수학적 변환을 수행하고 출력을 생성하는 함수입니다. (시그모이드, 소프트맥스) 인공 신경망의 능력을 높이기 위해 은닉층을 계속 추가해 줘야하는데 선형 함수의 경우 단순하게 가중치의 곱의 형태가 되게 때문에 1회 추가한 것과 차이를 줄 수 없습니다. 따라서 모든 은닉층의 활성화함수로 선형함수를 사용하지 않습니다. 예를 들어 활성화 함수 f(x) = Wx라고 가정할 경우 f(f(f(x)))의 경우 f(x) = W^3x입니다. 이는 W^3 = k라고 했을 때 y(x) = kx로 1회 추가한 것과 차이가 없습니다. 2. 시그모이드 함수(Sigmoid function)와 기울기 소실 위 인공신경망은 순전파.. [ML] 다층 퍼셉트론 구현으로 XOR 문제 해결하기 단층 퍼셉트론은 직선으로 구분할 수 있는 문제 해결이 가능한데 XOR 문제의 경우 곡선으로 구간을 나누어야 문제 해결이 가능했습니다. ) 왼쪽 좌표평면과 같은 문제를 해결하기 위해 다층 퍼셉트론을 구현하여 XOR 문제를 확인해보겠습니다. 1. 파이토치로 다층 퍼셉트론 구현하기 필요한 모듈을 임포트합니다. import torch import torch.nn as nn device = 'cuda' if torch.cuda.is_available() else 'cpu' # GPU 연산 확인 # 랜덤시드 고정 torch.manual_seed(777) if device == 'cuda': torch.cuda.manual_seed_all(777) # XOR 문제 입출력 정.. [DL] 단순, 다중 선형 회귀 구현하기 (PYTORCH) 출처 : PyTorch로 시작하는 딥 러닝 입문 주로 케라스를 통한 간편한 딥러닝 모델 구축을 했었는데 트랜스포머 기반 자연어 처리 모델의 경우 대부분 파이토치 라이브러리 기반으로 구축돼있어 공부를 시작하게 되었습니다. 모델 구조를 직접 구축하면서 weight값을 확인할 수 있기 때문에 딥러닝을 본격적으로 시작하기에 좋아보입니다. 케라스의 경우 모듈화가 잘 돼 있어, 클래스를 가져다 쓰는 반면 파이토치의 경우 클래스를 직접 생성하는 코드가 많기 때문에, 파이썬 코딩 실력 향상에도 상당한 도움이 될 것 같습니다. 파일은 출처 내용을 바탕으로 정리하였습니다. 이전 1 다음
