상세정보
QA를 넘어 개발자도 알아야 할 AI 에이전트 품질 가이드
정답 없는 AI 서비스의 신뢰 기준, LLM Judge 평가 전략| 지은이 | 정상미, 김성수 | |||||
| 옮긴이 | | |||||
| 발행일 | 2026-02-26 | |||||
| 페이지 | 328 | 가격 | 28,000원 | ||||
| ISBN | 978-89-6540-434-7 | 분야 | AI에이전트,QA,품질평가 | ||||
 |  |  |  |  |  |
QA를 넘어 개발자도 알아야 할 AI 에이전트 품질 가이드
정답 없는 AI 서비스의 신뢰 기준, LLM Judge 평가 전략| 지은이 | 정상미, 김성수 | |||||
| 옮긴이 | | |||||
| 발행일 | 2026-02-26 | |||||
| 페이지 | 328 | |||||
| 가격 | 28,000원 | |||||
| ISBN | 978-89-6540-434-7 | |||||
| 분야 | AI에이전트,QA,품질평가 | |||||
| | | |||
| | | |||
정답 없는 AI 시대, 무엇을 기준으로 PASS를 줄 것인가?
QA팀이 없어도, 품질은 누군가 책임져야 합니다.
AI 시대 요즘 QA, AI 에이전트 품질 평가, 이 한 권으로 시작하자!
AI 서비스는 왜 ‘어제는 괜찮았는데 오늘은 실패하는지’ 설명하기가 어렵습니다. 같은 질문에도 답이 달라지고, 맥락에 따라 결과가 바뀌며, 문제를 재현하기도 쉽지 않기 때문입니다. 저자는 이런 흔들림을 줄이기 위해, 개발이 끝난 뒤에 검증을 덧붙이는 방식이 아니라 Shift-Left Testing 관점에서 초기에 품질을 설계하고 운영하는 흐름을 실무 언어로 정리했습니다. 이 책은 그 결과를 담은 AI 에이전트 품질 평가 입문서입니다.
먼저 “좋은 답변”을 말로만 판단하지 않도록, Responsible AI Testing 프레임워크인 RaiT를 바탕으로 품질의 조건을 항목별로 정리합니다. 정확도뿐 아니라 의도 이해, 안전성, 표현의 적절성, 일관성처럼 실제 서비스에서 문제가 되는 지점을 기준으로 삼아, 팀이 합의할 수 있는 평가 기준표를 만들고, 그 기준을 Judge 프롬프트로 구현해 누가 보더라도 납득할 수 있는 판정 체계로 바꾸는 방법을 안내합니다.
그리고 사람이 매번 확인하는 방식에서 벗어나, 평가를 반복 가능하게 만드는 운영 방식을 제시합니다. 릴리스가 반복될수록 평가가 느슨해지거나 결과가 흔들리지 않도록, 테스트 준비부터 실행, 결과 정리와 공유까지의 흐름을 표준화하고, 현업에 즉시 적용할 수 있는 체크리스트와 보고서 템플릿도 함께 제공합니다. 더 나아가 품질이 좋아도 느리면 실패한다는 관점에서, 사용자가 체감하는 반응 속도인 TTFT와 완성 속도인 TTLT까지 함께 다루며, 릴리스마다 더 단단해지는 운영 루프로 연결합니다.
이 책을 통해 여러분은 흔들리는 결과 앞에서 당황하기보다, 정리하고 재현하고 개선하는 방식으로 문제를 다루게 될 것입니다. 완벽함보다 중요한 건 꾸준히 운영 가능한 체계를 만드는 일이고, 그 과정에서 여러분은 분명 한층 더 강한 품질 담당자로 성장하게 될 것입니다.
이런 분께 추천합니다!
QA/QE
“어제 PASS, 오늘 FAIL”처럼 흔들리는 AI 서비스 품질을 기준과 운영 루프로 정리하고 싶은 분
수동 확인에 지치지 않고, 반복 가능한 평가·리그레션 체계를 만들고 싶은 분
개발자/테크리드
QA팀이 없거나 리소스가 부족해도, 팀이 함께 돌릴 수 있는 품질 검증 방식이 필요한 분
릴리스마다 품질 이슈를 땜질하는 대신, 자동 평가(Judge 프롬프트) 기반 운영으로 전환하고 싶은 분
PM/기획자
“좋은 답변”을 말로만 합의하지 않고, 팀이 납득할 품질 기준과 판단 방식을 세우고 싶은 분
릴리스마다 품질 목표와 사용자 경험(정확도·안전·일관성·속도)을 한 흐름으로 관리하고 싶은 분
AI/데이터·서비스 운영 담당자
모델·프롬프트 변경이 잦은 환경에서, 변경 전후 품질을 일관되게 비교·추적하고 싶은 분
결과 리포트와 지표를 기반으로 품질을 ‘운영’하는 체계가 필요한 분
-추천사-
이 책은 AI 품질 관리 분야의 새로운 접근법인 RaiT(Responsible AI Agent Test) 프레임워크를 제시하며, 급변하는 AI 환경 속에서 현업 개발자와 QA가 직면하는 문제를 명확히 짚어줍니다.
특히, 단순히 이론을 나열하고 개념을 소개하는 데 그치지 않고, 구체적인 품질 항목을 기반으로 실무에 바로 적용 가능한 테스트 기준을 제시하고 정량 평가가 가능하도록 설계한 부분이 인상적입니다.
또한, OECD, ISO 등 글로벌 기준의 철학을 바탕으로 하면서도, 국내 현장의 특성을 반영한 소프트웨어 품질 모델까지 폭넓게 참고하여 프레임워크의 논리적 근거를 탄탄하게 구축했습니다. 이는 단순히 '해야 한다'고 주장하는 것을 넘어, '왜 이렇게 해야 하는지'에 대한 설득력을 높여줍니다.
안효석 | N Tech Service QA 실장
이 책은 단순한 테스트 매뉴얼이 아니라, AI 시대를 살아가는 QA의 새로운 역할을 제시하는 책입니다.
기존의 QA 프로세스가 AI 프로젝트에서는 통하지 않는 이유를 현실적인 사례로 보여주며, 그 해답으로 RaiT 프레임워크라는 새로운 품질 기준을 제안합니다. 이 책은 QA를 단순한 검증자가 아닌, 기획과 설계 단계부터 품질을 주도하는 Quality Engineer로 그립니다.
또한 Responsible AI와 AI Safety, 윤리·규제 기반 테스트 등 미래 커리어 확장 가능성까지 제시하며, QA에게 “어디로 나아가야 할지”에 대한 명확한 방향을 제시하는 나침반 같은 책입니다.
이정현 | LINE Plus
AI 시대, ‘잘 만드는 법’만이 아니라 ‘믿고 쓸 수 있게 운영하는 법’까지 알려주는 실전 안내서입니다.
현장에서 바로 사용할 수 있는 테스트 설계, 자동화 흐름 등을 알기 쉽게 풀어주고, 실제 사례와 체크리스트로 시행착오를 줄이며, 팀이 같은 기준으로 품질을 논하게 만들어 줍니다.
QA뿐 아니라 개발자·기획자 모두가 함께 볼 수 있는, AI 서비스 품질의 친절한 길잡이입니다.
박진구 | NAVER Cloud
정답 없는 AI의 답변 앞에서 길을 잃은 모든 QA와 개발자를 위한 필독서.
저자의 생생한 실무 경험을 바탕으로 프롬프트 설계부터 자동화 파이프라인 구축, 운영 노하우까지의 모든 것을 담았습니다. 또한 QA의 역할을 단순한 '테스터'에서 데이터 기반의 '품질 설계자'로 재정의합니다.
무엇보다 실체 없는 이론이 아니라, 실제 동작하는 코드와 템플릿을 통해 독자에게 즉시 적용 가능한 '실행력'을 선물합니다. 책을 덮는 순간, AI 품질 시스템의 전략가가 될 수 있다는 확신을 얻게 될 것 입니다.
권윤정 | 잡플래닛
QA팀이 없어도, 품질은 누군가 책임져야 합니다.
AI 시대 요즘 QA, AI 에이전트 품질 평가, 이 한 권으로 시작하자!
AI 서비스는 왜 ‘어제는 괜찮았는데 오늘은 실패하는지’ 설명하기가 어렵습니다. 같은 질문에도 답이 달라지고, 맥락에 따라 결과가 바뀌며, 문제를 재현하기도 쉽지 않기 때문입니다. 저자는 이런 흔들림을 줄이기 위해, 개발이 끝난 뒤에 검증을 덧붙이는 방식이 아니라 Shift-Left Testing 관점에서 초기에 품질을 설계하고 운영하는 흐름을 실무 언어로 정리했습니다. 이 책은 그 결과를 담은 AI 에이전트 품질 평가 입문서입니다.
먼저 “좋은 답변”을 말로만 판단하지 않도록, Responsible AI Testing 프레임워크인 RaiT를 바탕으로 품질의 조건을 항목별로 정리합니다. 정확도뿐 아니라 의도 이해, 안전성, 표현의 적절성, 일관성처럼 실제 서비스에서 문제가 되는 지점을 기준으로 삼아, 팀이 합의할 수 있는 평가 기준표를 만들고, 그 기준을 Judge 프롬프트로 구현해 누가 보더라도 납득할 수 있는 판정 체계로 바꾸는 방법을 안내합니다.
그리고 사람이 매번 확인하는 방식에서 벗어나, 평가를 반복 가능하게 만드는 운영 방식을 제시합니다. 릴리스가 반복될수록 평가가 느슨해지거나 결과가 흔들리지 않도록, 테스트 준비부터 실행, 결과 정리와 공유까지의 흐름을 표준화하고, 현업에 즉시 적용할 수 있는 체크리스트와 보고서 템플릿도 함께 제공합니다. 더 나아가 품질이 좋아도 느리면 실패한다는 관점에서, 사용자가 체감하는 반응 속도인 TTFT와 완성 속도인 TTLT까지 함께 다루며, 릴리스마다 더 단단해지는 운영 루프로 연결합니다.
이 책을 통해 여러분은 흔들리는 결과 앞에서 당황하기보다, 정리하고 재현하고 개선하는 방식으로 문제를 다루게 될 것입니다. 완벽함보다 중요한 건 꾸준히 운영 가능한 체계를 만드는 일이고, 그 과정에서 여러분은 분명 한층 더 강한 품질 담당자로 성장하게 될 것입니다.
이런 분께 추천합니다!
QA/QE
“어제 PASS, 오늘 FAIL”처럼 흔들리는 AI 서비스 품질을 기준과 운영 루프로 정리하고 싶은 분
수동 확인에 지치지 않고, 반복 가능한 평가·리그레션 체계를 만들고 싶은 분
개발자/테크리드
QA팀이 없거나 리소스가 부족해도, 팀이 함께 돌릴 수 있는 품질 검증 방식이 필요한 분
릴리스마다 품질 이슈를 땜질하는 대신, 자동 평가(Judge 프롬프트) 기반 운영으로 전환하고 싶은 분
PM/기획자
“좋은 답변”을 말로만 합의하지 않고, 팀이 납득할 품질 기준과 판단 방식을 세우고 싶은 분
릴리스마다 품질 목표와 사용자 경험(정확도·안전·일관성·속도)을 한 흐름으로 관리하고 싶은 분
AI/데이터·서비스 운영 담당자
모델·프롬프트 변경이 잦은 환경에서, 변경 전후 품질을 일관되게 비교·추적하고 싶은 분
결과 리포트와 지표를 기반으로 품질을 ‘운영’하는 체계가 필요한 분
-추천사-
이 책은 AI 품질 관리 분야의 새로운 접근법인 RaiT(Responsible AI Agent Test) 프레임워크를 제시하며, 급변하는 AI 환경 속에서 현업 개발자와 QA가 직면하는 문제를 명확히 짚어줍니다.
특히, 단순히 이론을 나열하고 개념을 소개하는 데 그치지 않고, 구체적인 품질 항목을 기반으로 실무에 바로 적용 가능한 테스트 기준을 제시하고 정량 평가가 가능하도록 설계한 부분이 인상적입니다.
또한, OECD, ISO 등 글로벌 기준의 철학을 바탕으로 하면서도, 국내 현장의 특성을 반영한 소프트웨어 품질 모델까지 폭넓게 참고하여 프레임워크의 논리적 근거를 탄탄하게 구축했습니다. 이는 단순히 '해야 한다'고 주장하는 것을 넘어, '왜 이렇게 해야 하는지'에 대한 설득력을 높여줍니다.
안효석 | N Tech Service QA 실장
이 책은 단순한 테스트 매뉴얼이 아니라, AI 시대를 살아가는 QA의 새로운 역할을 제시하는 책입니다.
기존의 QA 프로세스가 AI 프로젝트에서는 통하지 않는 이유를 현실적인 사례로 보여주며, 그 해답으로 RaiT 프레임워크라는 새로운 품질 기준을 제안합니다. 이 책은 QA를 단순한 검증자가 아닌, 기획과 설계 단계부터 품질을 주도하는 Quality Engineer로 그립니다.
또한 Responsible AI와 AI Safety, 윤리·규제 기반 테스트 등 미래 커리어 확장 가능성까지 제시하며, QA에게 “어디로 나아가야 할지”에 대한 명확한 방향을 제시하는 나침반 같은 책입니다.
이정현 | LINE Plus
AI 시대, ‘잘 만드는 법’만이 아니라 ‘믿고 쓸 수 있게 운영하는 법’까지 알려주는 실전 안내서입니다.
현장에서 바로 사용할 수 있는 테스트 설계, 자동화 흐름 등을 알기 쉽게 풀어주고, 실제 사례와 체크리스트로 시행착오를 줄이며, 팀이 같은 기준으로 품질을 논하게 만들어 줍니다.
QA뿐 아니라 개발자·기획자 모두가 함께 볼 수 있는, AI 서비스 품질의 친절한 길잡이입니다.
박진구 | NAVER Cloud
정답 없는 AI의 답변 앞에서 길을 잃은 모든 QA와 개발자를 위한 필독서.
저자의 생생한 실무 경험을 바탕으로 프롬프트 설계부터 자동화 파이프라인 구축, 운영 노하우까지의 모든 것을 담았습니다. 또한 QA의 역할을 단순한 '테스터'에서 데이터 기반의 '품질 설계자'로 재정의합니다.
무엇보다 실체 없는 이론이 아니라, 실제 동작하는 코드와 템플릿을 통해 독자에게 즉시 적용 가능한 '실행력'을 선물합니다. 책을 덮는 순간, AI 품질 시스템의 전략가가 될 수 있다는 확신을 얻게 될 것 입니다.
권윤정 | 잡플래닛
머리말
QA의 변화와 새로운 성장 기회
QA 커리어는 어디로 향하는가
베타 리뷰어의 한마디: 첫 독자가 전하는 말
이 책이 전하려는 것
독자에게 드리는 부탁
Chapter 1. AI 시대, 소프트웨어의 품질 기준은 왜 달라져야 하는가
_1.1 AI 이전의 프로젝트에서 QA는?
_1.2 AI 프로젝트 초기, QA가 마주한 혼란의 기록
__우리가 품질에서 놓친 것들: AI 프로젝트 초반, 불안정했던 QA 현실
_1.3 더 이상 늦게 들어가선 안 된다: Shift-Left Testing
__Shift-Left Testing
__Shift-Left Testing의 실전 적용: “우리가 바꾼 프로세스”
_1.4 새로운 기술에는 새로운 품질 기준이 필요하다.
__Responsible AI Frameworks
__ISO/IEC 42001: AI 관리 체계 전반의 품질 통제 기준
__TTA의 인공지능 신뢰성 인증
__Responsible AI를 위한 새로운 AI 테스트 기준, RaiT
_1.5 마무리하며: AI 시대 요즘 QA에 대하여
Chapter 2. AI 에이전트를 이해하면 테스트가 쉬워집니다
_2.1 AI 모델의 개념과 생성 방식 이해
__AI 모델의 기본 개념
__AI 모델의 분류 방식
_2.2 AI 모델 최적화 기술
__프롬프트 튜닝(Prompt-Tuning)
__파인 튜닝(Fine-tuning) 모델
__RAG(Retrieval-Augmented Generation)
__모델 증류 (Model Distillation)
_2.3 AI 에이전트 테스트 포인트
__무한 응답의 혼돈: 예측 불가성과 환각(hallucination)
__데이터 중독과 편향(Bias) – 사회적 편견이 응답으로 나타나는 경우
__문맥의 미로 – 컨텍스트 누락, 왜곡, 충돌
__기술 종속의 덫 – 모델과 프롬프트 의존성(lock-in)
_2.4 AI 에이전트 유형별 구조
__AI 에이전트 주요 구성 요소
__정확한 명령을 처리하는 Function Agent
__문맥을 기억하는 Agentic Agent
__말을 걸지 않아도 먼저 도와주는 Promptless Agent
_2.5 마무리하며: AI Agent 이해가 시작입니다.
Chapter 3. AI Agent 품질을 측정하는 프레임워크
_3.1 Responsible AI Agent Test (RaiT)
__RaiT 테스트 방법론
__RaiT 테스트 프로세스
__RaiT 테스트 도구
_3.2 RaiT 품질지표
__문맥연결성 (Contextual Relevance, 관련성)
__의도해석성 (Intent Interpretation, 이해도)
__신뢰안전성 (Trust & Safety, 안전성)
__표현적절성 (Linguistic Appropriateness, 표현성)
__정보정확성 (Factual Correctness, 정확성)
__목표충족성 (Task Effectiveness, 적합성)
__반응안정성 (Response Stability, 일관성)
__지속적응성 (Continuity & Adaptivity, 지속성)
3.3 RaiT 평가 기준점
__품질 기준점 영향 요소
__품질 기준점 정책
_3.4 마무리하며: RaiT는 AI Agent 품질의 새로운 기준
Chapter 4. AI Agent 테스트 설계 실전
_4.1 RaiT 테스트 플랜 프로세스
__품질 지표 평가 및 선택
__품질 Criteria 정의
__답변 기준 설정
_4.2 RaiT 테스트 케이스 도출
__테스트 케이스 종류와 품질 지표
__질문 생성 프롬프팅
__컨텐츠 추가
_4.3 RaiT 테스트 실행 프로세스
__매뉴얼 검증: AI 모델 품질 향상을 위한 필수적인 사람 중심 평가
__자동 테스트
__이슈 등록 및 관리
__결과 보고
_4.4 마무리하며: 같은듯 다른 테스트 프로세스
Chapter 5. 모델의 평가는 이제 모델에게 : 프롬프트와 모델로 평가 자동화하기
_5.1. '정답'이 없는 시대의 테스터를 위한 자동화 안내서
__초기 계획 수립의 어려움
__LLM 평가방식 자동화에 대한 고민
__자동화 구현 방식의 고민
__자동화 프롬프트의 중요성
_5.2 Rubric 기반 Judge Prompt 설계
__무엇이 좋은 Judge 프롬프트를 만드는가?
__Judge 프롬프트의 5가지 핵심 구성요소
__단계별 루브릭 상세화: 점수에 의미 부여하기
__실전! Judge 프롬프트 템플릿 작성하기
__살아있는 프롬프트로 발전시키기
_5.3 Few-shot 기반 Judge Prompt 설계
__제로샷(Zero-shot)의 한계를 넘어: 왜 Few-shot이 필요한가?
__효과적인 Few-shot 예시(Exemplar)의 조건
__실전! Few-shot Judge 프롬프트 템플릿 작성하기
__퓨샷 프롬프팅의 장점과 주의사항
_5.4 AI의 오답노트와 모범답안: 감점/긍정 피드백 활용법
__기본 평가의 한계와 2단계 평가의 필요성
__실전! 2단계 평가 프롬프트 작성 예시
__평가에서 학습으로: 피드백 루프의 완성
__감점 피드백: 실패에서 배우는 수정된 모범 답안 생성
__긍정 피드백: 성공에서 배우는 행동 원칙 추출
__결론: 평가와 학습의 선순환
_5.5 평가 모델 기반 판정 (BERTScore, Classifier)
__BERTScore: 정답과 의미가 얼마나 비슷한가? 의미 유사도 측정
__Classifier(분류기): 이 답변은 합격인가, 불합격인가? - 품질 기준 평가
_5.6 A/B Test와 신뢰도 확보 방법
__A/B 테스트의 핵심 원리
__오프라인 A/B 테스트: BERTScore를 활용한 자동화된 성능 비교
__온라인 A/B 테스트: 실제 사용자를 통한 최종 검증
_5.7 마무리하며: AI 평가 시스템, 살아있는 유기체로 만들기
Chapter 6. 품질은 반복에서 만들어집니다 – 자동화와 적용 사례
_6.1 실무 QA 환경에서의 자동화 전략과 성공 포인트
__실무 성공을 위한 5가지 자동화 전략
_6.2 평가 자동화 구조 설계: 입력 > 실행 > 판정 > 리포트
__1단계: 입력 (Input) - 자동화의 재료를 준비하는 단계
__2단계: 실행 (Execution) - 평가를 수행하는 엔진
__3단계: 판정 (Judgment) - 품질을 측정하고 점수를 매기는 단계
__4단계: 리포트 (Report) - 결과를 분석하고 공유하는 단계
__평가 테스트 자동화 구조 다이어그램
_6.3 LLM 평가 자동화 구현
__LLM 평가 자동화 실습 환경 준비하기
__Postman으로 빠르게 사전 검증하기
__LLM 평가 자동화 구현하기
__최종 실행 결과
_6.4 지속 가능한 자동화 운영: 프롬프트, 데이터, 보안, 비용 관리
__체계적인 프롬프트 관리 전략: 프롬프트를 '코드'처럼 다루기
__살아있는 테스트 케이스 관리 전략: '골든셋'의 진화
__가장 중요한 자산: API 키 보안과 관리
__비용 최적화: 토큰(Token) 사용량 완벽하게 이해하고 관리하기
_6.5 LLM 평가 자동화 현업 실무 적용 사례 (RaiT Tool)
__사례1 모두를 위한 LLM 테스팅 도구 - RaiT Client)
__사례2 API 기반 평가 플랫폼 - RaiT Web
__사례3 Jenkins를 활용한 온디맨드(On-Demand) 평가 - RaiT CI
_6.6 평가 결과 분석 및 활용 전략
__평가 결과 분석 및 후속 조치 프로세스
__리소스 효율화: '선택과 집중' 전략
_6.7 마무리하며: 자동화 도입 시 고려할 점과 유지 테스트
__1. 자동화 도입 전, 반드시 답해야 할 3가지 질문
__2. 시스템 도입 후: 지속적인 유지보수 전략
Chapter 7. 여전히 중요한 성능
_7.1 성능의 트레이드오프: 품질, 속도, 그리고 비용
_7.2 Time to First Token (TTFT): 사용자가 느끼는 '반응 속도'의 모든 것
_7.3 Time to Last Token (TTLT): 사용자가 느끼는 '완성 속도'의 모든 것
_7.4 성능 모니터링 리포트 결과와 유관부서 협업
_7.5 마무리하며: 속도와 품질, 두 마리 토끼를 잡는 법
Appendix A. Test Plan Checklist
_1. 목표 및 범위 정의
_2. 품질 지표 및 기준 설정
_3. 테스트 케이스 설계
_4. 테스트 수행 전략
_5. 이슈 관리 및 결과 보고
_6. 자원 및 일정 계획
Appendix B. 테스트 결과 보고서 템플릿
_1. 개요
_2. 테스트 목표 및 범위
_3. 테스트 방법론
_4. 품질 지표별 품질 기준점
_5. 테스트 결과 요약
_6. 품질 지표별 상세 분석
__6.1. 안전성
__6.2. 정확성
__6.3. 일관성
__6.4. 지속성
_7. 결론 및 권고 사항
_8. 첨부 자료
QA의 변화와 새로운 성장 기회
QA 커리어는 어디로 향하는가
베타 리뷰어의 한마디: 첫 독자가 전하는 말
이 책이 전하려는 것
독자에게 드리는 부탁
Chapter 1. AI 시대, 소프트웨어의 품질 기준은 왜 달라져야 하는가
_1.1 AI 이전의 프로젝트에서 QA는?
_1.2 AI 프로젝트 초기, QA가 마주한 혼란의 기록
__우리가 품질에서 놓친 것들: AI 프로젝트 초반, 불안정했던 QA 현실
_1.3 더 이상 늦게 들어가선 안 된다: Shift-Left Testing
__Shift-Left Testing
__Shift-Left Testing의 실전 적용: “우리가 바꾼 프로세스”
_1.4 새로운 기술에는 새로운 품질 기준이 필요하다.
__Responsible AI Frameworks
__ISO/IEC 42001: AI 관리 체계 전반의 품질 통제 기준
__TTA의 인공지능 신뢰성 인증
__Responsible AI를 위한 새로운 AI 테스트 기준, RaiT
_1.5 마무리하며: AI 시대 요즘 QA에 대하여
Chapter 2. AI 에이전트를 이해하면 테스트가 쉬워집니다
_2.1 AI 모델의 개념과 생성 방식 이해
__AI 모델의 기본 개념
__AI 모델의 분류 방식
_2.2 AI 모델 최적화 기술
__프롬프트 튜닝(Prompt-Tuning)
__파인 튜닝(Fine-tuning) 모델
__RAG(Retrieval-Augmented Generation)
__모델 증류 (Model Distillation)
_2.3 AI 에이전트 테스트 포인트
__무한 응답의 혼돈: 예측 불가성과 환각(hallucination)
__데이터 중독과 편향(Bias) – 사회적 편견이 응답으로 나타나는 경우
__문맥의 미로 – 컨텍스트 누락, 왜곡, 충돌
__기술 종속의 덫 – 모델과 프롬프트 의존성(lock-in)
_2.4 AI 에이전트 유형별 구조
__AI 에이전트 주요 구성 요소
__정확한 명령을 처리하는 Function Agent
__문맥을 기억하는 Agentic Agent
__말을 걸지 않아도 먼저 도와주는 Promptless Agent
_2.5 마무리하며: AI Agent 이해가 시작입니다.
Chapter 3. AI Agent 품질을 측정하는 프레임워크
_3.1 Responsible AI Agent Test (RaiT)
__RaiT 테스트 방법론
__RaiT 테스트 프로세스
__RaiT 테스트 도구
_3.2 RaiT 품질지표
__문맥연결성 (Contextual Relevance, 관련성)
__의도해석성 (Intent Interpretation, 이해도)
__신뢰안전성 (Trust & Safety, 안전성)
__표현적절성 (Linguistic Appropriateness, 표현성)
__정보정확성 (Factual Correctness, 정확성)
__목표충족성 (Task Effectiveness, 적합성)
__반응안정성 (Response Stability, 일관성)
__지속적응성 (Continuity & Adaptivity, 지속성)
3.3 RaiT 평가 기준점
__품질 기준점 영향 요소
__품질 기준점 정책
_3.4 마무리하며: RaiT는 AI Agent 품질의 새로운 기준
Chapter 4. AI Agent 테스트 설계 실전
_4.1 RaiT 테스트 플랜 프로세스
__품질 지표 평가 및 선택
__품질 Criteria 정의
__답변 기준 설정
_4.2 RaiT 테스트 케이스 도출
__테스트 케이스 종류와 품질 지표
__질문 생성 프롬프팅
__컨텐츠 추가
_4.3 RaiT 테스트 실행 프로세스
__매뉴얼 검증: AI 모델 품질 향상을 위한 필수적인 사람 중심 평가
__자동 테스트
__이슈 등록 및 관리
__결과 보고
_4.4 마무리하며: 같은듯 다른 테스트 프로세스
Chapter 5. 모델의 평가는 이제 모델에게 : 프롬프트와 모델로 평가 자동화하기
_5.1. '정답'이 없는 시대의 테스터를 위한 자동화 안내서
__초기 계획 수립의 어려움
__LLM 평가방식 자동화에 대한 고민
__자동화 구현 방식의 고민
__자동화 프롬프트의 중요성
_5.2 Rubric 기반 Judge Prompt 설계
__무엇이 좋은 Judge 프롬프트를 만드는가?
__Judge 프롬프트의 5가지 핵심 구성요소
__단계별 루브릭 상세화: 점수에 의미 부여하기
__실전! Judge 프롬프트 템플릿 작성하기
__살아있는 프롬프트로 발전시키기
_5.3 Few-shot 기반 Judge Prompt 설계
__제로샷(Zero-shot)의 한계를 넘어: 왜 Few-shot이 필요한가?
__효과적인 Few-shot 예시(Exemplar)의 조건
__실전! Few-shot Judge 프롬프트 템플릿 작성하기
__퓨샷 프롬프팅의 장점과 주의사항
_5.4 AI의 오답노트와 모범답안: 감점/긍정 피드백 활용법
__기본 평가의 한계와 2단계 평가의 필요성
__실전! 2단계 평가 프롬프트 작성 예시
__평가에서 학습으로: 피드백 루프의 완성
__감점 피드백: 실패에서 배우는 수정된 모범 답안 생성
__긍정 피드백: 성공에서 배우는 행동 원칙 추출
__결론: 평가와 학습의 선순환
_5.5 평가 모델 기반 판정 (BERTScore, Classifier)
__BERTScore: 정답과 의미가 얼마나 비슷한가? 의미 유사도 측정
__Classifier(분류기): 이 답변은 합격인가, 불합격인가? - 품질 기준 평가
_5.6 A/B Test와 신뢰도 확보 방법
__A/B 테스트의 핵심 원리
__오프라인 A/B 테스트: BERTScore를 활용한 자동화된 성능 비교
__온라인 A/B 테스트: 실제 사용자를 통한 최종 검증
_5.7 마무리하며: AI 평가 시스템, 살아있는 유기체로 만들기
Chapter 6. 품질은 반복에서 만들어집니다 – 자동화와 적용 사례
_6.1 실무 QA 환경에서의 자동화 전략과 성공 포인트
__실무 성공을 위한 5가지 자동화 전략
_6.2 평가 자동화 구조 설계: 입력 > 실행 > 판정 > 리포트
__1단계: 입력 (Input) - 자동화의 재료를 준비하는 단계
__2단계: 실행 (Execution) - 평가를 수행하는 엔진
__3단계: 판정 (Judgment) - 품질을 측정하고 점수를 매기는 단계
__4단계: 리포트 (Report) - 결과를 분석하고 공유하는 단계
__평가 테스트 자동화 구조 다이어그램
_6.3 LLM 평가 자동화 구현
__LLM 평가 자동화 실습 환경 준비하기
__Postman으로 빠르게 사전 검증하기
__LLM 평가 자동화 구현하기
__최종 실행 결과
_6.4 지속 가능한 자동화 운영: 프롬프트, 데이터, 보안, 비용 관리
__체계적인 프롬프트 관리 전략: 프롬프트를 '코드'처럼 다루기
__살아있는 테스트 케이스 관리 전략: '골든셋'의 진화
__가장 중요한 자산: API 키 보안과 관리
__비용 최적화: 토큰(Token) 사용량 완벽하게 이해하고 관리하기
_6.5 LLM 평가 자동화 현업 실무 적용 사례 (RaiT Tool)
__사례1 모두를 위한 LLM 테스팅 도구 - RaiT Client)
__사례2 API 기반 평가 플랫폼 - RaiT Web
__사례3 Jenkins를 활용한 온디맨드(On-Demand) 평가 - RaiT CI
_6.6 평가 결과 분석 및 활용 전략
__평가 결과 분석 및 후속 조치 프로세스
__리소스 효율화: '선택과 집중' 전략
_6.7 마무리하며: 자동화 도입 시 고려할 점과 유지 테스트
__1. 자동화 도입 전, 반드시 답해야 할 3가지 질문
__2. 시스템 도입 후: 지속적인 유지보수 전략
Chapter 7. 여전히 중요한 성능
_7.1 성능의 트레이드오프: 품질, 속도, 그리고 비용
_7.2 Time to First Token (TTFT): 사용자가 느끼는 '반응 속도'의 모든 것
_7.3 Time to Last Token (TTLT): 사용자가 느끼는 '완성 속도'의 모든 것
_7.4 성능 모니터링 리포트 결과와 유관부서 협업
_7.5 마무리하며: 속도와 품질, 두 마리 토끼를 잡는 법
Appendix A. Test Plan Checklist
_1. 목표 및 범위 정의
_2. 품질 지표 및 기준 설정
_3. 테스트 케이스 설계
_4. 테스트 수행 전략
_5. 이슈 관리 및 결과 보고
_6. 자원 및 일정 계획
Appendix B. 테스트 결과 보고서 템플릿
_1. 개요
_2. 테스트 목표 및 범위
_3. 테스트 방법론
_4. 품질 지표별 품질 기준점
_5. 테스트 결과 요약
_6. 품질 지표별 상세 분석
__6.1. 안전성
__6.2. 정확성
__6.3. 일관성
__6.4. 지속성
_7. 결론 및 권고 사항
_8. 첨부 자료
정상미
(smjung8710@gmail.com)
소프트웨어 품질보증 분야의 발전을 위해 노력하고 있는 전문가이다. AI를 비롯한 다양한 소프트웨어 영역에서 품질보증 적용 확대와 테스트 자동화, 테스트 환경 구축에 관심을 가지고 있으며, 특히 자동화 기반 검증과 대규모 언어모델(LLM) 검증, 보안성 검증 기술 연구에 주력하고 있다. 음성 AI 서비스와 모빌리티 플랫폼의 품질보증 업무를 수행하며, 윈도우, 리눅스, 맥, 모바일, 웹 브라우저 등 다양한 이기종 플랫폼에서 동작하는 제품들의 테스트 자동화 프로젝트를 수행해 왔다. 정보관리기술사로서 IT 보안과 소프트웨어 품질관리 전문성 향상에 힘쓰고 있다. 저서로는 『더 괜찮은 QA가 되기 위한 프랙티컬 테스트 자동화』가 있다.
김성수
(ksszidane@naver.com)
소프트웨어 품질보증(SQA) 분야의 전문가이다. 2008년부터 포털 서비스, 게임 플랫폼 등 기술적 난도가 높은 다양한 도메인에서 품질 전략을 수립하고, QA Ops 기반의 효율적인 자동화 시스템 도입에 주력해 왔다. 네이버, 넥슨 등 국내 주요 빅테크 기업을 거치며 풍부한 실무 경험을 쌓았으며, 현재는 국내 유수 통신사에서 초거대 언어모델(LLM) 기반 AI 에이전트 서비스의 검증과 품질 자동화 구축 및 운영을 이끌고 있다. 급변하는 AI 시대에 걸맞은 새로운 품질 기준을 제시하기 위해 끊임없이 연구하며 실천하는 실무 전문가이다.
(smjung8710@gmail.com)
소프트웨어 품질보증 분야의 발전을 위해 노력하고 있는 전문가이다. AI를 비롯한 다양한 소프트웨어 영역에서 품질보증 적용 확대와 테스트 자동화, 테스트 환경 구축에 관심을 가지고 있으며, 특히 자동화 기반 검증과 대규모 언어모델(LLM) 검증, 보안성 검증 기술 연구에 주력하고 있다. 음성 AI 서비스와 모빌리티 플랫폼의 품질보증 업무를 수행하며, 윈도우, 리눅스, 맥, 모바일, 웹 브라우저 등 다양한 이기종 플랫폼에서 동작하는 제품들의 테스트 자동화 프로젝트를 수행해 왔다. 정보관리기술사로서 IT 보안과 소프트웨어 품질관리 전문성 향상에 힘쓰고 있다. 저서로는 『더 괜찮은 QA가 되기 위한 프랙티컬 테스트 자동화』가 있다.
김성수
(ksszidane@naver.com)
소프트웨어 품질보증(SQA) 분야의 전문가이다. 2008년부터 포털 서비스, 게임 플랫폼 등 기술적 난도가 높은 다양한 도메인에서 품질 전략을 수립하고, QA Ops 기반의 효율적인 자동화 시스템 도입에 주력해 왔다. 네이버, 넥슨 등 국내 주요 빅테크 기업을 거치며 풍부한 실무 경험을 쌓았으며, 현재는 국내 유수 통신사에서 초거대 언어모델(LLM) 기반 AI 에이전트 서비스의 검증과 품질 자동화 구축 및 운영을 이끌고 있다. 급변하는 AI 시대에 걸맞은 새로운 품질 기준을 제시하기 위해 끊임없이 연구하며 실천하는 실무 전문가이다.
정답 없는 AI 시대, 무엇을 기준으로 PASS를 줄 것인가?
QA팀이 없어도, 품질은 누군가 책임져야 합니다.
AI 시대 요즘 QA, AI 에이전트 품질 평가, 이 한 권으로 시작하자!
AI 서비스는 왜 ‘어제는 괜찮았는데 오늘은 실패하는지’ 설명하기가 어렵습니다. 같은 질문에도 답이 달라지고, 맥락에 따라 결과가 바뀌며, 문제를 재현하기도 쉽지 않기 때문입니다. 저자는 이런 흔들림을 줄이기 위해, 개발이 끝난 뒤에 검증을 덧붙이는 방식이 아니라 Shift-Left Testing 관점에서 초기에 품질을 설계하고 운영하는 흐름을 실무 언어로 정리했습니다. 이 책은 그 결과를 담은 AI 에이전트 품질 평가 입문서입니다.
먼저 “좋은 답변”을 말로만 판단하지 않도록, Responsible AI Testing 프레임워크인 RaiT를 바탕으로 품질의 조건을 항목별로 정리합니다. 정확도뿐 아니라 의도 이해, 안전성, 표현의 적절성, 일관성처럼 실제 서비스에서 문제가 되는 지점을 기준으로 삼아, 팀이 합의할 수 있는 평가 기준표를 만들고, 그 기준을 Judge 프롬프트로 구현해 누가 보더라도 납득할 수 있는 판정 체계로 바꾸는 방법을 안내합니다.
그리고 사람이 매번 확인하는 방식에서 벗어나, 평가를 반복 가능하게 만드는 운영 방식을 제시합니다. 릴리스가 반복될수록 평가가 느슨해지거나 결과가 흔들리지 않도록, 테스트 준비부터 실행, 결과 정리와 공유까지의 흐름을 표준화하고, 현업에 즉시 적용할 수 있는 체크리스트와 보고서 템플릿도 함께 제공합니다. 더 나아가 품질이 좋아도 느리면 실패한다는 관점에서, 사용자가 체감하는 반응 속도인 TTFT와 완성 속도인 TTLT까지 함께 다루며, 릴리스마다 더 단단해지는 운영 루프로 연결합니다.
이 책을 통해 여러분은 흔들리는 결과 앞에서 당황하기보다, 정리하고 재현하고 개선하는 방식으로 문제를 다루게 될 것입니다. 완벽함보다 중요한 건 꾸준히 운영 가능한 체계를 만드는 일이고, 그 과정에서 여러분은 분명 한층 더 강한 품질 담당자로 성장하게 될 것입니다.
이런 분께 추천합니다!
QA/QE
“어제 PASS, 오늘 FAIL”처럼 흔들리는 AI 서비스 품질을 기준과 운영 루프로 정리하고 싶은 분
수동 확인에 지치지 않고, 반복 가능한 평가·리그레션 체계를 만들고 싶은 분
개발자/테크리드
QA팀이 없거나 리소스가 부족해도, 팀이 함께 돌릴 수 있는 품질 검증 방식이 필요한 분
릴리스마다 품질 이슈를 땜질하는 대신, 자동 평가(Judge 프롬프트) 기반 운영으로 전환하고 싶은 분
PM/기획자
“좋은 답변”을 말로만 합의하지 않고, 팀이 납득할 품질 기준과 판단 방식을 세우고 싶은 분
릴리스마다 품질 목표와 사용자 경험(정확도·안전·일관성·속도)을 한 흐름으로 관리하고 싶은 분
AI/데이터·서비스 운영 담당자
모델·프롬프트 변경이 잦은 환경에서, 변경 전후 품질을 일관되게 비교·추적하고 싶은 분
결과 리포트와 지표를 기반으로 품질을 ‘운영’하는 체계가 필요한 분
-추천사-
이 책은 AI 품질 관리 분야의 새로운 접근법인 RaiT(Responsible AI Agent Test) 프레임워크를 제시하며, 급변하는 AI 환경 속에서 현업 개발자와 QA가 직면하는 문제를 명확히 짚어줍니다.
특히, 단순히 이론을 나열하고 개념을 소개하는 데 그치지 않고, 구체적인 품질 항목을 기반으로 실무에 바로 적용 가능한 테스트 기준을 제시하고 정량 평가가 가능하도록 설계한 부분이 인상적입니다.
또한, OECD, ISO 등 글로벌 기준의 철학을 바탕으로 하면서도, 국내 현장의 특성을 반영한 소프트웨어 품질 모델까지 폭넓게 참고하여 프레임워크의 논리적 근거를 탄탄하게 구축했습니다. 이는 단순히 '해야 한다'고 주장하는 것을 넘어, '왜 이렇게 해야 하는지'에 대한 설득력을 높여줍니다.
안효석 | N Tech Service QA 실장
이 책은 단순한 테스트 매뉴얼이 아니라, AI 시대를 살아가는 QA의 새로운 역할을 제시하는 책입니다.
기존의 QA 프로세스가 AI 프로젝트에서는 통하지 않는 이유를 현실적인 사례로 보여주며, 그 해답으로 RaiT 프레임워크라는 새로운 품질 기준을 제안합니다. 이 책은 QA를 단순한 검증자가 아닌, 기획과 설계 단계부터 품질을 주도하는 Quality Engineer로 그립니다.
또한 Responsible AI와 AI Safety, 윤리·규제 기반 테스트 등 미래 커리어 확장 가능성까지 제시하며, QA에게 “어디로 나아가야 할지”에 대한 명확한 방향을 제시하는 나침반 같은 책입니다.
이정현 | LINE Plus
AI 시대, ‘잘 만드는 법’만이 아니라 ‘믿고 쓸 수 있게 운영하는 법’까지 알려주는 실전 안내서입니다.
현장에서 바로 사용할 수 있는 테스트 설계, 자동화 흐름 등을 알기 쉽게 풀어주고, 실제 사례와 체크리스트로 시행착오를 줄이며, 팀이 같은 기준으로 품질을 논하게 만들어 줍니다.
QA뿐 아니라 개발자·기획자 모두가 함께 볼 수 있는, AI 서비스 품질의 친절한 길잡이입니다.
박진구 | NAVER Cloud
정답 없는 AI의 답변 앞에서 길을 잃은 모든 QA와 개발자를 위한 필독서.
저자의 생생한 실무 경험을 바탕으로 프롬프트 설계부터 자동화 파이프라인 구축, 운영 노하우까지의 모든 것을 담았습니다. 또한 QA의 역할을 단순한 '테스터'에서 데이터 기반의 '품질 설계자'로 재정의합니다.
무엇보다 실체 없는 이론이 아니라, 실제 동작하는 코드와 템플릿을 통해 독자에게 즉시 적용 가능한 '실행력'을 선물합니다. 책을 덮는 순간, AI 품질 시스템의 전략가가 될 수 있다는 확신을 얻게 될 것 입니다.
권윤정 | 잡플래닛
QA팀이 없어도, 품질은 누군가 책임져야 합니다.
AI 시대 요즘 QA, AI 에이전트 품질 평가, 이 한 권으로 시작하자!
AI 서비스는 왜 ‘어제는 괜찮았는데 오늘은 실패하는지’ 설명하기가 어렵습니다. 같은 질문에도 답이 달라지고, 맥락에 따라 결과가 바뀌며, 문제를 재현하기도 쉽지 않기 때문입니다. 저자는 이런 흔들림을 줄이기 위해, 개발이 끝난 뒤에 검증을 덧붙이는 방식이 아니라 Shift-Left Testing 관점에서 초기에 품질을 설계하고 운영하는 흐름을 실무 언어로 정리했습니다. 이 책은 그 결과를 담은 AI 에이전트 품질 평가 입문서입니다.
먼저 “좋은 답변”을 말로만 판단하지 않도록, Responsible AI Testing 프레임워크인 RaiT를 바탕으로 품질의 조건을 항목별로 정리합니다. 정확도뿐 아니라 의도 이해, 안전성, 표현의 적절성, 일관성처럼 실제 서비스에서 문제가 되는 지점을 기준으로 삼아, 팀이 합의할 수 있는 평가 기준표를 만들고, 그 기준을 Judge 프롬프트로 구현해 누가 보더라도 납득할 수 있는 판정 체계로 바꾸는 방법을 안내합니다.
그리고 사람이 매번 확인하는 방식에서 벗어나, 평가를 반복 가능하게 만드는 운영 방식을 제시합니다. 릴리스가 반복될수록 평가가 느슨해지거나 결과가 흔들리지 않도록, 테스트 준비부터 실행, 결과 정리와 공유까지의 흐름을 표준화하고, 현업에 즉시 적용할 수 있는 체크리스트와 보고서 템플릿도 함께 제공합니다. 더 나아가 품질이 좋아도 느리면 실패한다는 관점에서, 사용자가 체감하는 반응 속도인 TTFT와 완성 속도인 TTLT까지 함께 다루며, 릴리스마다 더 단단해지는 운영 루프로 연결합니다.
이 책을 통해 여러분은 흔들리는 결과 앞에서 당황하기보다, 정리하고 재현하고 개선하는 방식으로 문제를 다루게 될 것입니다. 완벽함보다 중요한 건 꾸준히 운영 가능한 체계를 만드는 일이고, 그 과정에서 여러분은 분명 한층 더 강한 품질 담당자로 성장하게 될 것입니다.
이런 분께 추천합니다!
QA/QE
“어제 PASS, 오늘 FAIL”처럼 흔들리는 AI 서비스 품질을 기준과 운영 루프로 정리하고 싶은 분
수동 확인에 지치지 않고, 반복 가능한 평가·리그레션 체계를 만들고 싶은 분
개발자/테크리드
QA팀이 없거나 리소스가 부족해도, 팀이 함께 돌릴 수 있는 품질 검증 방식이 필요한 분
릴리스마다 품질 이슈를 땜질하는 대신, 자동 평가(Judge 프롬프트) 기반 운영으로 전환하고 싶은 분
PM/기획자
“좋은 답변”을 말로만 합의하지 않고, 팀이 납득할 품질 기준과 판단 방식을 세우고 싶은 분
릴리스마다 품질 목표와 사용자 경험(정확도·안전·일관성·속도)을 한 흐름으로 관리하고 싶은 분
AI/데이터·서비스 운영 담당자
모델·프롬프트 변경이 잦은 환경에서, 변경 전후 품질을 일관되게 비교·추적하고 싶은 분
결과 리포트와 지표를 기반으로 품질을 ‘운영’하는 체계가 필요한 분
-추천사-
이 책은 AI 품질 관리 분야의 새로운 접근법인 RaiT(Responsible AI Agent Test) 프레임워크를 제시하며, 급변하는 AI 환경 속에서 현업 개발자와 QA가 직면하는 문제를 명확히 짚어줍니다.
특히, 단순히 이론을 나열하고 개념을 소개하는 데 그치지 않고, 구체적인 품질 항목을 기반으로 실무에 바로 적용 가능한 테스트 기준을 제시하고 정량 평가가 가능하도록 설계한 부분이 인상적입니다.
또한, OECD, ISO 등 글로벌 기준의 철학을 바탕으로 하면서도, 국내 현장의 특성을 반영한 소프트웨어 품질 모델까지 폭넓게 참고하여 프레임워크의 논리적 근거를 탄탄하게 구축했습니다. 이는 단순히 '해야 한다'고 주장하는 것을 넘어, '왜 이렇게 해야 하는지'에 대한 설득력을 높여줍니다.
안효석 | N Tech Service QA 실장
이 책은 단순한 테스트 매뉴얼이 아니라, AI 시대를 살아가는 QA의 새로운 역할을 제시하는 책입니다.
기존의 QA 프로세스가 AI 프로젝트에서는 통하지 않는 이유를 현실적인 사례로 보여주며, 그 해답으로 RaiT 프레임워크라는 새로운 품질 기준을 제안합니다. 이 책은 QA를 단순한 검증자가 아닌, 기획과 설계 단계부터 품질을 주도하는 Quality Engineer로 그립니다.
또한 Responsible AI와 AI Safety, 윤리·규제 기반 테스트 등 미래 커리어 확장 가능성까지 제시하며, QA에게 “어디로 나아가야 할지”에 대한 명확한 방향을 제시하는 나침반 같은 책입니다.
이정현 | LINE Plus
AI 시대, ‘잘 만드는 법’만이 아니라 ‘믿고 쓸 수 있게 운영하는 법’까지 알려주는 실전 안내서입니다.
현장에서 바로 사용할 수 있는 테스트 설계, 자동화 흐름 등을 알기 쉽게 풀어주고, 실제 사례와 체크리스트로 시행착오를 줄이며, 팀이 같은 기준으로 품질을 논하게 만들어 줍니다.
QA뿐 아니라 개발자·기획자 모두가 함께 볼 수 있는, AI 서비스 품질의 친절한 길잡이입니다.
박진구 | NAVER Cloud
정답 없는 AI의 답변 앞에서 길을 잃은 모든 QA와 개발자를 위한 필독서.
저자의 생생한 실무 경험을 바탕으로 프롬프트 설계부터 자동화 파이프라인 구축, 운영 노하우까지의 모든 것을 담았습니다. 또한 QA의 역할을 단순한 '테스터'에서 데이터 기반의 '품질 설계자'로 재정의합니다.
무엇보다 실체 없는 이론이 아니라, 실제 동작하는 코드와 템플릿을 통해 독자에게 즉시 적용 가능한 '실행력'을 선물합니다. 책을 덮는 순간, AI 품질 시스템의 전략가가 될 수 있다는 확신을 얻게 될 것 입니다.
권윤정 | 잡플래닛
