Self-Attention이란?

1. Self-Attention이란?

**Self-Attention(셀프 어텐션)**은
자기 자신 안에서 중요한 부분을 찾는 기술이야.

• 보통 Attention은 "입력 A"가 "입력 B"를 볼 때 집중하는데,
• Self-Attention은 입력 안에서 서로를 비교해서,
  "내가 나를 이해하기 위해 어디를 집중해야 하지?"를 판단하는 거야.

---

2. 쉽게 이해하는 비유: 소설 줄거리 파악하기

🎯 비유: 소설책 줄거리 정리하기

• 소설을 읽을 때, 어떤 문장은 다른 문장을 이해하는 데 꼭 필요해.
• 예를 들어, "그는 그때 울었다."라는 문장이 나오면
  "그가 누구야?"를 이해하려면 앞 문장을 다시 봐야 하잖아?

👉 Self-Attention은 문장 안에서 서로 중요한 부분을 연결해서 이해하는 과정이야!

---

3. Self-Attention 작동 흐름

1. 문장 안의 모든 단어 쌍을 비교한다.
2. 서로 얼마나 관련 있는지(Attention Score)를 계산한다.
3. 중요한 단어에 더 많은 비중을 주어 정보를 모은다.

흐름 요약

(입력) → Query, Key, Value 만들기 → 자기 안에서 서로 비교 → 결과 만들기

---

4. Self-Attention의 장점

• 문장의 순서에 상관없이 중요한 부분을 이해할 수 있다.
• 문장이 길어져도 효율적으로 관계를 파악할 수 있다.
• 한 번에 전체 문맥을 본다.

---

5. 한 줄 요약

Self-Attention은 "입력 안의 모든 요소를 서로 비교해서 중요한 정보를 뽑아내는 기술"이다!