SECTION 01이 글을 읽는 방법
모델명, API ID, 가격, 컨텍스트 길이, 제공 지역과 종료 일정은 자주 바뀝니다. 따라서 이 문서는 특정 공급자의 우위를 단정하거나 고정 가격표를 제시하지 않고, 공공·기업 환경에서 반복 적용할 수 있는 평가 절차를 제공합니다. 실제 도입 전에는 각 공급자의 최신 모델·가격·보안·수명주기 문서를 확인해야 합니다.
SECTION 02비교 기준
| 기준 | 확인 질문 | 증빙 예시 |
|---|---|---|
| 업무 적합성 | 요약, 분석, 코드, 검색, 멀티모달 중 무엇이 핵심인가? | 대표 업무셋과 합격 기준 |
| 품질 | 정확성, 근거 제시, 한국어 표현, 형식 준수는 충분한가? | 블라인드 평가 결과 |
| 보안·데이터 | 입력·출력 데이터의 저장, 학습 사용, 지역, 권한 관리는 어떤 조건인가? | 계약·DPA·관리 콘솔 설정 |
| 운영성 | API 안정성, 로깅, 오류 처리, 모델 변경·종료 대응은 가능한가? | 장애·마이그레이션 계획 |
| 비용 | 입력·출력·캐시·도구 호출·재시도까지 포함한 비용은 얼마인가? | 실제 프롬프트 기반 계측 |
SECTION 03안전한 평가 절차
- 개인정보·비밀정보를 제거한 평가 문서를 준비합니다.
- 동일한 업무 지시와 합격 기준으로 후보 모델을 반복 측정합니다.
- 정답성뿐 아니라 근거 누락, 환각, 지시 불이행, 지연 시간과 비용을 함께 기록합니다.
- 모델의 stable·preview·deprecated 상태와 종료 공지를 운영 점검 항목에 포함합니다.
- 모델 교체를 전제로 프롬프트·평가셋·로그 형식을 분리합니다.