노는 게 제일 좋아

컴퓨터 비전, CV 에서 대표적으로 사용되는 신경망이라고 알고 있다. CNN 뉴스채널 아니고 합성곱 신경망이다. 이제 알아보자 이미지 분류하면 어떤 신경망을 쓰냐 하면 바로 CNN이 나올 정도로 이미지에 강한 면모를 보이고 있다. ++ Image Recognition=이미지인식 CNN을 이해하기 위해서는 합성곱(Convolution) 과 풀링(pooling)이란 개념을 알아야 한다. 사실 filter, stride, slide 등 많이 알아야 한다. 결국 어차피 이미지를 예를 들어 설명해볼 것이다. 이 그림을 보면 왜 컴퓨터가 이 사진을 차로 인식하게 되는가? 를 알려주는 순서다. 차를 넣으면 비트맵과 같이 매트릭스를 만들고 흑백일 경우 grayscale 0-255의 8비트를 가지며 filter로 슬라이..

심하게 말하면 개나 소나 심지어 물고기까지 한다는 딥러닝... 교수님께서는 딥러닝을 모르고도 쓸 수 있는 것이 딥러닝인 반면에 딥러닝을 알려고도 하지 않는 사람들에게 비판 아닌 비판을 하셨다. 내 마음이 심히 찔려서 기초부터 공부하기로 하였다. 시작하자 신경망의 동작원리를 알기 위한 모델을 소개한다. 바로 합성함수다. 정확하게 말하면 합성함수에 대한 도함수, derivative에 대해서 알아본다. ?? 왜 합성함수냐..??라고 생각할텐데 쉽게 설명하자면 원숭이 엉덩이는 빨개 빨가면 사과 사과는 맛있어 맛있으면 바나나 바나나는 길어 길으면 기차 기차는 빨라 빠르면 비행기...와 같이 원숭이 엉덩이에서 비행기까지 도출할 수 있다. 실제로 아무관계가 없을지라도 위의 과정을 거쳐서 나왔으므로 맞는 말이라고 생각..

RNN은 이미 배웠다. 어텐션이 RNN의 단점을 보완하기 위해 나온 것처럼 LSTM도 그 RNN을 보완하기 위한 방법이다. 특히 길이가 길어질수록 앞쪽의 데이터의 내용이 뒤로 전달되지 않는 장기 의존성 (Long-Term Dependency)가 발생하기에 LSTM으로 이를 해결하고자 했다. Hence standard RNNs fail to learn in the presence of time lags greater than 5 – 10 discrete time steps between relevant input events and target signals. The vanishing error problem casts doubt on whether standard RNNs can indeed exhibi..

21.09.28 RNN 수식들 내용 업데이트 ** RNN, 재귀 신경망(Recursive Neural Network)이 아니라 여기선 순환이다!! 우선 자연어처리에서 많이 쓰는 신경망모델이다. 가장 기본적인 시퀀스 모델로 S2S와 깊은 연관이 있다. **시퀀스 모델이란 입력에 순서가 있다는 말. 일반적인 Neural Network에서는 input의 순서를 다루지 못하기 때문임. 주로 번역에 기여하는 바가 많다. **LSTM이나 GRU 또한 근본적으로 RNN기반이라고 볼 수 있다. RNN의 구조를 그림으로 보자 요렇게 생겼다. (좌 우 같은 그림이다) 저 A를 RNN에서는 Cell이라고 부르는데 저기에서는 각 시점(time step)에서 바로 이전 시점에서 Cell에서 계산된 값을 사용하여 지금 시점에 입..

'밑바닥 부터 시작하는 딥러닝' 에서 공부한 것을 바탕으로 정리해놓은 https://excelsior-cjh.tistory.com/169 이 분이 정리해놓았다. 그냥 책이랑 같다. 나는 내 식으로 다시 정리해보려고 한다. 이름을 왜 퍼셉트론으로 지었는지는 아직도 의문이다. 아무튼 다시 이해해보자 퍼셉트론은 0과 1을 표현할 수 있다. 기본적으로 2가지 정보를 이용해서 가중치를 적용해 0을 출력할지 1을 출력할지 결정한다. 여기서 편향은 출력에 지대한 영향을 끼치는 요소로서 퍼셉트론이 활성화되는 정도를 알아내는 척도가 된다. AND, NAND, OR의 논리회로를 구현할 수 있지만 퍼셉트론 자신 혼자서는 XOR을 구현하지 못한다. 하지만 기존의 논리회로를 이용해서 다시 출력된 값에 대해서 퍼셉트론을 적용하면..