트랜스포머(Transformer)는 어텐션(Attention) 메커니즘으로 문장 속 단어들의 관계를 한 번에 파악하는 딥러닝 아키텍처로, GPT·BERT 등 오늘날 거의 모든 대규모 언어모델의 토대가 된 구조입니다. 2017년 등장 이후 AI의 판도를 바꿨으며, LLM을 이해하려면 트랜스포머부터 알아야 합니다.
트랜스포머가 바꾼 것
이전의 순환신경망(RNN)은 문장을 앞에서 뒤로 순차 처리해 느리고 긴 문맥을 놓쳤습니다. 트랜스포머는 모든 단어를 동시에(병렬) 처리하며 어텐션으로 서로의 관계를 계산해, 속도와 문맥 이해를 동시에 잡았습니다.
핵심 개념
- 셀프 어텐션: 각 단어가 문장 내 다른 단어들과 얼마나 관련 있는지 계산합니다.
- 멀티헤드: 여러 관점에서 동시에 관계를 봅니다.
- 위치 인코딩: 단어의 순서 정보를 더해 줍니다.
- 인코더·디코더: 입력 이해와 출력 생성을 담당하는 블록입니다.
RNN vs 트랜스포머
| 구분 | RNN | 트랜스포머 |
|---|---|---|
| 처리 | 순차 | 병렬 |
| 긴 문맥 | 약함 | 강함 |
| 속도 | 느림 | 빠름 |
| 대표 모델 | LSTM 등 | GPT·BERT |
인프라·취업 관점
트랜스포머는 대량 병렬 연산(GPU)과 큰 메모리를 요구합니다. 왜 AI가 GPU·대규모 인프라를 필요로 하는지 이해하는 출발점이며, 아키텍처를 알면 추론 최적화·서빙을 다룰 때 큰 도움이 됩니다.
자주 묻는 질문(FAQ)
트랜스포머와 LLM은 같은 건가요?
트랜스포머는 구조(아키텍처)이고, LLM은 그 구조로 만든 대규모 모델입니다.
어텐션이 왜 중요한가요?
문맥 속 단어 관계를 직접 계산해, 긴 문장도 정확히 이해하게 해 줍니다.
수학을 몰라도 되나요?
개념(관계 계산)만 이해해도 실무엔 충분하며, 깊이는 점차 더하면 됩니다.
신입이 알아야 하나요?
네. LLM을 다루는 어떤 직무에서도 기본 소양입니다.
더 읽어보기
GPU·LLM 추론 최적화 등 다른 AI 인사이트 글과 국내 시스템·AI 인프라 채용 정보도 확인해 보세요.
※ 본 글은 2026년 7월 시점의 공개 정보를 바탕으로 정리한 참고 자료이며, 개념·용어는 시점에 따라 달라질 수 있습니다.