이것저것 기록

로지스틱회귀는 회귀를 사용하여 데이터가 어떤 범주 (class)에 속할 확률을 0에서 1사이의 값으로 예측하고, 그 확률에 따라 가능성이 더 높은 범주 (class)에 속하는 것으로 분류 (classification)해주는 지도학습 알고리즘이다. 로지스틱회귀에선 확률값이 0과 1사이의 값을 가져야하는데, 선형회귀의 회귀식인 y = ax + b에서는 -무한대 ~ +무한대의 값을 가지게 된다. 그래서 이 값을 0~1사이의 값으로 변환해주는 장치가 필요한데, 그게 바로 시그모이드 함수이다. 시그모이드 함수를 활용하여 얻은 로지스틱회귀의 회귀식은 다음과 같다. 로지스틱 회귀의 로스함수는 다음과 같다. 1. 로지스틱회귀 분석을 한다는 것은 로지스틱회귀는 두 개의 카테고리 (binary)로 분류되는 범주형 데이터를..

선형회귀는 지도학습 중 예측 문제에 사용하는 알고리즘 중 하나다. 기존 데이터를 기반으로 생성된 모델 (회귀 모델)을 이용하여 새로운 데이터가 들어왔을 때 어떤 값이 될 지 예측하는 문제이다. 선형회귀 분석은 주어진 데이터를 대표하는 하나의 '직선'을 찾는 것이다. 이 직선을 '회귀선'이라고 부르고 이 선을 함수로 표현한 것이 '회귀식'이다. 단순선형회귀 분석은 중학교 때 배웠던 1차함수의 그래프 모양이다. y= ax+b라는 회귀식이 있을 때 x의 개수가 1개이므로 단순선형회귀 분석이 되는 거고, input으로 사용될 설명 변수는 1개가 된다는 말이다. 1. 선형회귀 분석을 한다는 것은 y = ax + b라는 식에서 a와 b를 구하는 과정을 뜻한다. 머신러닝의 관점에서 a는 weight값이 되고, b는 ..

PyTorch의 Dataset과 DataLoader를 이용하면 학습을 위한 방대한 데이터를 미니배치 단위로 처리할 수 있고, 데이터를 무작위로 섞음으로써 학습의 효율성을 향상시킬 수 있다. 또한 데이터를 여러개의 GPU를 사용해 병렬처리로 학습할 수도 있다. 코드가 매우 간단해지고, 사용법만 익히면 학습을 편하게 도와주는 편리한 함수다. 사실 데이터셋의 크기가 그렇게 크지 않으면 굳이 사용하지 않아도 되지만, 데이터셋의 크기가 매우 큰 경우엔 모든 데이터를 한 번에 넣어서 처리하는 방식을 적용하기엔 무리가 있다. 그래서 Batch 라는 개념으로 (묶음) 한 번에 한 묶음씩 처리하는 방식을 사용하게 된다. 정리하면, 전체 데이터셋을 batch로 묶어서 iteration의 수 만큼 실행하는 것이다. 이것을 ..

PyTorch로 신경망 모델을 설계할 때, 크게 다음과 같은 세 가지 스텝을 따르면 된다. Design your model using class with Variables Construct loss and optim Train cycle (forward, backward, update) 여기서 두 번째 순서인 로스와 옵티마이저를 설정하는 방법을 포스팅 해보려고 한다. 1. Opimizer 설정 옵티마이저는 PyTorch의 optim 패키지를 사용하여 간단하게 정의할 수 있다. optim 패키지는 다양한 최적화 알고리즘을 초합하고 있으니까 참고하면 된다. pytorch.org/docs/stable/optim.html torch.optim — PyTorch 1.6.0 documentation torch.op..

PyTorch로 신경망 모델을 설계할 때, 크게 다음과 같은 세 가지 스텝을 따르면 된다. Design your model using class with Variables Construct loss and optim Train cycle (forward, backward, update) 이 포스팅에선 첫번째 단계인 클래스와 변수를 정의하는 방법을 다루려고 한다. PyTorch로 신경망을 설계할 때크게 두 가지 방법이 있다. 사용자 정의 nn 모듈 nn.Module을 상속한 클래스 이용 어느 방식으로 신경망을 설계해도 상관 없지만, 복잡한 신경망을 직접 설계할 때는 내 마음대로 정의하는 방식의 nn모듈을 더 많이 사용한다고 한다. (참고: tutorials.pytorch.kr/beginner/pytorch..