SECTION 01대형 언어 모델(LLM) 완전 해설
Field note
대형 언어 모델(Large Language Model, LLM)은 수천억 개의 텍스트 데이터를 학습하여 인간의 언어를 이해하고 생성할 수 있는 초대형 인공신경망입니다.
ChatGPT 5.5, Claude Opus 4.8, Gemini 3.5 — 이 모든 생성형 AI의 핵심에는 LLM이 있습니다. 이 글에서는 LLM이 어떻게 작동하는지, 왜 이렇게 강력한지, 그리고 공공기관에서 어떻게 활용할 수 있는지를 비전공자도 이해할 수 있게 설명합니다.
1. LLM이 등장하기까지 — 언어 AI의 진화
1세대: 규칙 기반 시스템 (1950~1990년대)
초기 언어 AI는 사람이 직접 규칙을 작성했습니다. "만약 '안녕'이라고 입력하면 '안녕하세요'라고 출력하라"는 식입니다. 간단한 대화는 가능했지만, 조금만 복잡한 문장이 오면 무너졌습니다.
2세대: 통계 기반 모델 (1990~2010년대)
대량의 텍스트 데이터에서 단어 간 통계적 관계를 학습했습니다. 번역 품질이 크게 향상되었지만, 문맥을 이해하는 능력은 여전히 부족했습니다.
3세대: 트랜스포머와 LLM (2017년~현재)
2017년 Google이 발표한 트랜스포머(Transformer) 아키텍처가 모든 것을 바꿨습니다. 트랜스포머는 문장 전체의 맥락을 동시에 파악하는 어텐션(Attention) 메커니즘을 사용합니다.
2. 트랜스포머 — LLM의 핵심 기술
트랜스포머를 이해하는 핵심 개념은 "어텐션(Attention)"입니다.
쉬운 예시로 이해하기:
"나는 어제 은행에 갔다. 거기서 돈을 찾았다."
이 문장에서 "거기"가 "은행"을 가리킨다는 것을 이해하려면, 앞 문장 전체를 기억하고 연결해야 합니다. 트랜스포머의 어텐션 메커니즘은 모든 단어 간의 관계를 동시에 계산하여 이런 연결을 파악합니다.
어텐션 메커니즘의 작동 원리:
입력 문장: "공공기관 AI 도입 시 보안 고려사항은?"
각 단어가 다른 단어들과 얼마나 관련 있는지 계산:
- "보안" ← "AI" (높은 관련성)
- "보안" ← "공공기관" (높은 관련성)
- "고려사항" ← "보안" (높은 관련성)
- "시" ← "도입" (중간 관련성)
이 관계를 바탕으로 문맥을 이해하고 적절한 답변 생성3. LLM의 학습 과정
사전 학습 (Pre-training)
수천억 개의 텍스트 데이터(웹 페이지, 책, 논문, 코드 등)를 학습합니다. 이 과정에서 언어의 문법, 사실 관계, 추론 능력 등을 습득합니다.
GPT-5.5의 학습 규모 (2026년 6월 추정):
- 학습 데이터: 약 10조 개 이상의 토큰
- 모델 파라미터: 수조 개 (추정)
- 학습에 사용된 GPU: 수십만 개 (H100/H200 클러스터)
- 학습 비용: 수천억 원 이상
미세 조정 (Fine-tuning)
사전 학습된 모델을 특정 목적에 맞게 추가 학습합니다. 예를 들어 의료 문서 분석에 특화된 AI를 만들려면, 의료 데이터로 미세 조정합니다.
공공기관 활용 시나리오:
- 행정 문서 처리에 특화된 AI: 공문서 양식, 행정 용어, 법령 체계로 미세 조정
- 민원 상담 AI: 자주 묻는 민원 질문-답변 데이터로 미세 조정
- 세금 신고 지원 AI: 세법, 신고 절차 데이터로 미세 조정
RLHF (인간 피드백 강화학습)
인간 평가자가 AI 응답의 품질을 평가하고, 이 피드백으로 AI를 추가 학습합니다. ChatGPT가 자연스럽고 도움이 되는 응답을 하는 이유가 바로 이 과정 덕분입니다.
4. RAG — LLM의 한계를 극복하는 핵심 기술
LLM의 가장 큰 한계는 학습 데이터 시점 이후의 정보를 모른다는 것입니다. 또한 기관 내부 문서, 비공개 정보는 학습하지 않았습니다.
이 문제를 해결하는 기술이 RAG(Retrieval-Augmented Generation, 검색 증강 생성)입니다.
RAG 작동 원리:
사용자 질문: "우리 기관의 2026년 예산 집행 현황은?"
1단계: 질문 분석
↓
2단계: 내부 문서 검색 (예산 집행 보고서, DB 등)
↓
3단계: 관련 문서 추출
↓
4단계: LLM에 질문 + 검색된 문서 함께 입력
↓
5단계: LLM이 문서를 바탕으로 정확한 답변 생성RAG의 장점:
- 기관 내부 정보 기반 정확한 답변 가능
- 최신 정보 반영 가능
- 출처 명시 가능 (환각 현상 감소)
- 기밀 데이터를 외부 AI에 학습시키지 않아도 됨
공공기관 RAG 활용 사례:
- 내부 규정·지침 질의응답 시스템
- 과거 민원 처리 사례 기반 신규 민원 답변 지원
- 법령 데이터베이스 기반 법령 해석 지원
- 예산·회계 문서 기반 재무 분석 지원
5. LLM의 주요 성능 지표
LLM을 평가할 때 사용하는 주요 지표들입니다.
| 지표 | 설명 | 중요성 |
|---|---|---|
| 컨텍스트 윈도우 | 한 번에 처리할 수 있는 텍스트 길이 | 긴 문서 처리 능력 |
| 파라미터 수 | 모델의 "뇌세포" 수 (많을수록 복잡한 패턴 학습) | 성능 잠재력 |
| 추론 속도 | 응답 생성 시간 | 실시간 서비스 적합성 |
| 멀티모달 | 텍스트 외 이미지·음성 처리 가능 여부 | 활용 범위 |
| 한국어 성능 | 한국어 이해·생성 품질 | 공공기관 적합성 |
6. 공공기관 LLM 도입 시 고려사항
클라우드 vs 온프레미스
| 구분 | 클라우드 LLM | 온프레미스 LLM |
|---|---|---|
| 예시 | ChatGPT GPT-5.5 API, Claude Opus 4.8 API | 자체 서버에 오픈소스 LLM 설치 |
| 비용 | 사용량 기반 (초기 비용 낮음) | 초기 투자 높음, 운영 비용 낮음 |
| 보안 | 데이터 외부 전송 | 데이터 내부 보관 |
| 성능 | 최고 수준 | 모델에 따라 다름 |
| 적합 등급 | O/S 등급 (조건부) | C 등급 포함 모든 등급 |
오픈소스 LLM 옵션
자체 서버에 설치할 수 있는 오픈소스 LLM도 있습니다.
- Llama 4 Scout/Maverick (Meta): 2026년 최신 버전, 멀티모달 지원, 상업적 활용 가능
- Mistral Large 2 (Mistral AI): 유럽 개발, 효율적인 소형~중형 모델
- EXAONE 3.5 (LG AI Research): 한국어 특화 오픈소스 모델, 2026년 최신 버전
- SOLAR Pro (Upstage): 한국 스타트업 개발, 한국어 성능 우수
- HyperCLOVA X 2.0 (NAVER): 국내 최대 규모 한국어 LLM, 공공기관 전용 버전 제공
Field note
보안 관점 권장사항: C 등급 정보를 처리하는 AI 시스템은 반드시 온프레미스 또는 전용 클라우드 환경에서 운영해야 합니다. 외부 클라우드 LLM API는 O 등급, 조건부로 S 등급 정보에만 활용하세요.
LLM은 공공기관 업무 혁신의 핵심 기술입니다. 기술의 작동 원리를 이해하면 AI 도입 의사결정, 벤더 평가, 보안 설계에서 더 나은 판단을 내릴 수 있습니다. 다음 편에서는 공공기관에서 AI를 실제로 도입할 때의 절차와 주의사항을 다루겠습니다.