순환 신경망 (Recurrent Neural Networks, RNN)

개념 및 목적 순환 신경망(RNN)은 순차적인 입력 데이터를 처리하기 위해 설계된 딥러닝 모델입니다. 자연어와 같이 시간적 또는 순서적 의존성을 갖는 데이터를 다루는 데 주로 사용됩니다. 예를 들어, 기계 번역이나 텍스트 요약과 같은 작업에 활용됩니다.

주요 특징 및 작동 방식 RNN은 입력 시퀀스의 각 요소를 순차적으로 처리합니다. 각 단계에서 모델은 이전 단계의 은닉 상태(hidden state)를 사용하여 현재 입력을 처리하고 새로운 은닉 상태를 생성합니다. 이 은닉 상태는 이전까지의 모든 정보를 요약하여 담고 있으며, 마지막 은닉 상태는 전체 시퀀스의 "문장 벡터" 또는 "사고 벡터"로 볼 수 있습니다.

한계

• 병렬 처리의 어려움: RNN은 본질적으로 순차적으로 작동하기 때문에, 전체 입력을 한 번에 처리할 수 없으며 병렬화에 적합하지 않습니다. 이로 인해 대규모 데이터셋에 대한 훈련 시간이 길어질 수 있습니다.
• 장기 의존성 문제: 긴 시퀀스에서 멀리 떨어져 있는 요소들 간의 관계(장기 의존성)를 학습하는 데 어려움을 겪는 경향이 있습니다. LSTM(Long Short-Term Memory)과 같은 변형 모델들이 이러한 문제를 완화하기 위해 개발되었지만, 여전히 한계가 있었습니다. 트랜스포머는 이러한 RNN의 단점을 극복하며 NLP 분야에서 LSTM을 대체하는 추세입니다.

합성곱 신경망 (Convolutional Neural Networks, CNN)

개념 및 목적 합성곱 신경망(CNN)은 주로 컴퓨터 비전 분야에서 이미지 인식, 객체 탐지, 이미지 분류 등 시각 데이터를 처리하는 데 혁명적인 영향을 미친 딥러닝 모델입니다. 인간의 시신경 구조를 모방하여 개발되었습니다.

주요 특징 및 작동 방식 CNN의 핵심은 이미지의 공간 정보를 유지한 채 학습한다는 것입니다. 이는 이미지를 1차원 배열로 평면화하는 대신, 필터(filter) 또는 **커널(kernel)**이라는 작은 행렬을 사용하여 이미지의 특징을 추출하는 합성곱(convolution) 연산을 수행함으로써 가능합니다. 이 필터들은 특정 패턴(예: 가장자리, 질감)을 학습하며, 학습 과정에서 자동으로 최적화됩니다.

주요 구성 요소

• 합성곱 계층 (Convolutional Layer): 입력 이미지에 필터를 적용하여 **특징 맵(feature map)**을 생성하는 핵심 계층입니다. 컬러 이미지는 높이, 너비, 채널의 3차원 텐서로 표현되며, 필터도 이 채널 수에 맞춰 적용됩니다.
  • 스트라이드(Stride): 필터가 이미지를 이동하는 간격을 의미합니다.
  • 패딩(Padding): 합성곱 연산 시 이미지 크기가 줄어드는 것을 방지하기 위해 이미지 가장자리에 특정 값(주로 0, 'zero-padding')을 추가하는 기법입니다.
• 풀링 계층 (Pooling Layer): 특징 맵의 크기를 줄여(다운샘플링) 연산량을 감소시키고 모델 파라미터 수를 줄이는 역할을 합니다. 또한, 이미지 요소의 이동이나 회전에 대한 모델의 강건성(robustness)을 높여줍니다. **최대 풀링(Max Pooling)**이 가장 흔히 사용되며, 이는 특정 영역에서 가장 큰 값을 선택하여 그 영역의 대표값으로 설정하는 방식입니다. 풀링은 과적합(overfitting) 문제를 완화하는 데도 기여합니다.
• 완전 연결 계층 (Fully Connected Layer): 특징 추출 단계(합성곱 및 풀링 계층)를 거쳐 추출된 특징들을 기반으로 최종적으로 이미지 분류와 같은 분류 작업을 수행하는 계층입니다. 일반적으로 이미지 형태의 데이터를 배열 형태로 변환하는 플래튼(Flatten) 계층이 이전에 위치합니다.

어텐션 메커니즘 (Attention Mechanism) 및 트랜스포머 (Transformer)

어텐션 메커니즘의 도입 및 중요성 **어텐션(Attention)**은 딥러닝 모델이 입력 데이터의 여러 부분 중 가장 관련성이 높은 부분에 선택적으로 집중할 수 있도록 하는 메커니즘입니다. 2017년 Google Brain 팀이 발표한 "Attention Is All You Need" 논문에서 트랜스포머 모델과 함께 소개되었으며, 기존 RNN이나 CNN 모델의 한계를 극복하며 자연어 처리(NLP) 및 다양한 AI 분야에 혁명을 가져왔습니다.

어텐션의 핵심 아이디어 어텐션 함수는 **쿼리(Query)**와 키(Key)-값(Value) 쌍의 집합을 입력받아 출력을 생성합니다. 이 출력은 값(Value)들의 가중 합으로 계산되며, 각 값에 부여되는 가중치는 해당 값의 키(Key)와 쿼리(Query) 간의 **유사도(compatibility)**에 따라 결정됩니다. 이를 통해 모델은 입력 시퀀스 전체에 걸쳐 있는 컨텍스트를 효과적으로 이해하고 처리할 수 있습니다.

트랜스포머와 어텐션의 결합 트랜스포머는 RNN이나 CNN 없이 오직 어텐션 메커니즘만으로 구축된 모델입니다. 이로 인해 높은 병렬 처리 능력을 갖게 되어 훈련 시간을 크게 단축할 수 있습니다.