RNN은 이미 배웠다. 어텐션이 RNN의 단점을 보완하기 위해 나온 것처럼 LSTM도 그 RNN을 보완하기 위한 방법이다. 특히 길이가 길어질수록 앞쪽의 데이터의 내용이 뒤로 전달되지 않는 장기 의존성 (Long-Term Dependency)가 발생하기에 LSTM으로 이를 해결하고자 했다. Hence standard RNNs fail to learn in the presence of time lags greater than 5 – 10 discrete time steps between relevant input events and target signals. The vanishing error problem casts doubt on whether standard RNNs can indeed exhibi..
