목차(클릭하세요)
핵심 요약: 벡터 내적(dot product)은 두 벡터가 얼마나 같은 방향을 가리키는지를 숫자 하나로 표현한 것.
신경망에서는 뉴런이 “내가 찾는 패턴이 입력에 얼마나 담겨 있는가?”를 판단하는 핵심 연산임.
[참고자료] 벡터 내적 탐색기 (인터랙티브 아티팩트 기반 정리)
1. 벡터 내적이란?
1-1. 기본 정의
벡터 내적(dot product)은 같은 차원의 두 벡터 x와 w에 대해, 각 성분을 곱한 뒤 모두 더한 값임.
예시 계산 (2차원):
입력 x | 가중치 w | 곱 |
x₁ = 4 | w₁ = 1 | 4 × 1 = 4 |
x₂ = 3 | w₂ = -2 | 3 × (-2) = -6 |
→ 내적 결과: 4 + (-6) = -2
1-2. 각 항의 기여도
각 항이 최종 결과에 얼마나 영향을 미쳤는지 비중으로 볼 수 있음.
•
항 1의 기여: 4 × 1 = 4 (비중 200%)
•
항 2의 기여: 3 × (-2) = -6 (비중 300%)
수직선 위에서 보면: x₁w₁=4는 오른쪽으로, x₂w₂=-6은 왼쪽으로 끌어당겨 최종 결과 -2가 됨.2. 내적의 기하학적 의미: 방향 감지
2-1. 각도와 내적의 관계
내적은 단순한 계산값이 아니라 두 벡터가 얼마나 같은 방향을 가리키는지를 나타냄.
각도 θ | cos θ | 내적 | 의미 |
0° | 1 | 최대 양수 | 완전히 같은 방향 |
90° | 0 | 0 | 직교 (관계 없음) |
180° | -1 | 최대 음수 | 완전히 반대 방향 |
2-2. 신경망에서의 방향 감지
뉴런을 “패턴 탐지기”로 생각하면: 가중치 벡터 w는 뉴런이 찾고 싶은 패턴의 방향. 입력 x가 그 방향에 가까울수록 내적값이 커지고, 뉴런이 강하게 반응함.탐색기 예시:
- w = (3, 2), x = (4, 1)
- 내적 결과: 4×3 + 1×2 = 14
- 두 벡터 각도: 20° → 거의 같은 방향
- σ(내적) = 1 → 뉴런이 강하게 활성화
강하게 반응 (θ=20°): 입력 벡터가 가중치 방향과 거의 일치함. 이 뉴런은 이 패턴을 강하게 감지함.
3. 신경망에서 내적의 역할
3-1. 뉴런의 계산 구조
신경망의 뉴런 하나가 하는 일을 수식으로 표현하면:
출력 = σ(x · w + b)
= σ(x₁w₁ + x₂w₂ + ... + xₙwₙ + b)
Plain Text
복사
•
x: 입력 데이터 벡터
•
w: 학습된 가중치 벡터 (뉴런이 찾는 패턴)
•
b: 편향(bias)
•
σ: 활성화 함수 (sigmoid, ReLU 등)
3-2. 내적이 크다는 것의 의미
내적이 크다 = 입력 벡터가 가중치 벡터 방향과 비슷하다 = 뉴런이 찾는 패턴이 입력에 많이 담겨 있다.내적값 | 뉴런 반응 | 해석 |
크고 양수 | 강하게 활성화 | 찾던 패턴 발견 |
0 근처 | 약하게 반응 | 패턴 불일치 |
크고 음수 | 억제 | 반대 패턴 |
프롬프트 예시: “두 벡터의 각도가 20°라면 내적값이 왜 크게 나오는지 설명해줘”