본문 바로가기

분류 전체보기115

순환 신경망 (RNN) 이란? [2편] 기본적인 순환신경망인 Vanilla RNN에 대해서 1편에서 설명 했습니다.하지만 현재는 Vanilla RNN 이 사용되고 있지 않습니다.어떠한 이유때문에 사용되고 있지 않는지, 그리고 더 발전된 RNN에 대해서 설명하도록 하겠습니다. 1. Vanilla RNN 문제점 잘 쓰이지 않는 가장 큰 이유는 기울기 손실 문제가 있습니다. 위의 그림에서 x0 가 입력이고 출력이 ht+1 이라고 할때, ht+1 에서 출발해서 쭉 x0 에 있는 정보를 가지고 와야 합니다.그렇게 하기 위해서 사이사이의 Gradient(기울기)가 다 만들어져야 하며, 역전파가 이루어질때 점점 기울기가 손실이 되는 문제가 있습니다.따라서, 시점차이가 많이 날 경우 학습능력이 굉장히 저하가 됩니다.그래서 현재는 RNN 기반의 변형 알고리즘.. 2022. 3. 11.
순환 신경망 (RNN) 이란? [1편] 1. 순차데이터 종류순환신경망(RNN)을 이해하기 앞서,순차 데이터가 무엇인지 알아볼 필요가 있습니다.순서가 의미가 있는 데이터를 말하며,순서가 달라질 경우 의미가 손상되는 데이터를 순차데이터라고 합니다.위의 사진에 예시를 보면, 3가지로 나뉘어 질 수 있습니다. 연속적 데이터(Sequential Data)순서가 의미가 있지만, 시간의 이미가 없는 것 시간적 의미(Temporal Sequence)시간적 의미가 있고, x축 시간에 따른 y축 변화가 있을때를 말합니다. 일정한 시간차(Time Series)x축을 시간으로 보지 않고, 1 step 으로 표현으로하면 step 마다 변화를 나타날때를 말합니다.2. 심층 신경망과 순차 데이터 입력이 만약 음파로 들어온다면?? Input Layer보통 음파가 초당 4.. 2022. 3. 11.
Rest , Rest API, Restful, 이란?? 1. REST Rest 란? Rest (Representational State Transfer)라는 용어의 약자로 웹 창시자 중의 한명인 Roy Fielding에 의해 2000년에 논문 발표 되었다고 한다. Roy Fielding은 당시 아키텍쳐가 웹(HTTP)의 장점을 충분히 담아내지 못한다고 생각하였다고 한다. 그래서 직접 웹(HTTP)의 장점을 최대한 활용한 네트워크 기반의 아키텍처를 소개 했는데, 그것이 REST 이다. 웹기반으로 리소트(데이터에 입력, 수정, 삭제 등)을 관리하기 위한 아키텍쳐 구조이며, 현재는 많은 API들이 REST 기반에서 JSON을 이용한 형태로 제공되고 있습니다. 한줄로 이야기 하면, Rest의 핵심은 리소스(파일, 웹, 이미지, html) 지향적 아키텍쳐 입니다. R.. 2022. 3. 9.
Alex-net 란? [딥러닝] 1. AlexNet 이란?AlexNet은 인공지능의 ILSVRC에서 2012년에 당시 오차율 16.4%로 다른 모델 보다 압도적으로 우승한 모델입니다. 현재 시점에서 수치를 보면 그렇게 좋은 정확도가 아니지만, 대회 당시에는 굉장한 정확도였다고 합니다. 2011년에 우승했던 모델의 오차율이 25.8%였으니, 오차율 성능이 40% 만큼 좋아졌습니다. AlexNet의 'Alex'는 모델 논문의 저자인 Alex Khrizevsky의 이름 입니다. 2.  AlexNet 구조   AlexNet은 위의 그림과 같은 구조 입니다.순서대로 나열하면 아래와 같습니다. Input layerConv1 - MaxPool1 - Norm1Conv2 - MaxPool2 - Norm2Conv3 - Conv4 - Conv5 - Max.. 2022. 3. 6.