E2E 시나리오 품질 개선 진행 현황
진행일: 2026-02-03
분석 대상: 96개 시나리오 (e2e/scenarios/*.json)
1. 개선 완료 현황
A등급으로 개선된 시나리오 (18개 신규)
| # |
시나리오 |
이전 등급 |
현재 등급 |
스텝 수 |
개선 내용 |
| 1 |
accounting-deposit.json |
C (4) |
A (18) |
4→18 |
입금 CRUD 전체 |
| 2 |
settings-permission.json |
C (3) |
A (20) |
3→20 |
권한 CRUD + 권한 부여/회수 |
| 3 |
accounting-withdrawal.json |
C (4) |
A (18) |
4→18 |
출금 CRUD 전체 |
| 4 |
hr-vacation.json |
C (5) |
A (18) |
5→18 |
휴가 신청/수정/취소 |
| 5 |
hr-attendance-admin.json |
B (6) |
A (20) |
6→20 |
필터/검색/수정/통계/엑셀 |
| 6 |
accounting-bill.json |
C (3) |
A (17) |
3→17 |
어음 CRUD 전체 |
| 7 |
material-receiving.json |
C (3) |
A (18) |
3→18 |
입고 CRUD 전체 |
| 8 |
production-work-order.json |
C (3) |
A (18) |
3→18 |
작업지시 CRUD 전체 |
| 9 |
sales-quotation.json |
C (6) |
A (18) |
6→18 |
견적 CRUD 전체 |
| 10 |
sales-order.json |
C (5) |
A (18) |
5→18 |
수주 CRUD 전체 |
| 11 |
purchase-order.json |
C (3) |
A (18) |
3→18 |
발주 CRUD 전체 |
| 12 |
hr-employee.json |
B (12) |
A (18) |
12→18 |
사원 CRUD 전체 |
| 13 |
hr-salary.json |
C (4) |
A (17) |
4→17 |
급여 필터/수정/엑셀 |
| 14 |
shipment-management.json |
C (3) |
A (18) |
3→18 |
출고 CRUD 전체 |
| 15 |
quality-inspection.json |
C (14) |
A (18) |
14→18 |
제품검사 CRUD 전체 |
| 16 |
settings-bank-account.json |
C (4) |
A (18) |
4→18 |
계좌 CRUD 전체 |
| 17 |
settings-position.json |
C (4) |
A (18) |
4→18 |
직책 CRUD 전체 |
| 18 |
settings-rank.json |
C (4) |
A (18) |
4→18 |
직급 CRUD 전체 |
B등급으로 개선된 시나리오 (4개 신규)
| # |
시나리오 |
이전 등급 |
현재 등급 |
스텝 수 |
개선 내용 |
| 1 |
accounting-receivable.json |
C (3) |
B (15) |
3→15 |
조회/필터/검색/엑셀 |
| 2 |
settings-vacation-policy.json |
C (4) |
B (12) |
4→12 |
정책 조회/수정/저장 |
| 3 |
settings-work-schedule.json |
C (4) |
B (12) |
4→12 |
일정 조회/수정/저장 |
| 4 |
settings-attendance.json |
C (4) |
B (12) |
4→12 |
설정 조회/수정/저장 |
기존 A등급 시나리오 (8개)
| 시나리오 |
스텝 수 |
특징 |
| login.json |
23 |
로그인 실패/성공, 세션 유지, 로그아웃 |
| free-board.json |
77 |
게시글+댓글 CRUD, 검색/필터/정렬 |
| vendor-management.json |
34 |
상세 검증, 수정 후 복원, API 호출 확인 |
| approval-box.json |
11+ |
PDF 다운로드, 실제 승인/반려 동작 |
| employee-register.json |
15 |
CRUD 전체, 기간 검색 검증 |
| crud-delete-vendor.json |
15 |
CRUD 전체 흐름, 롤백 계획 포함 |
| crud-delete-freeboard.json |
- |
CRUD 전체 흐름 |
| popup-management.json |
88 |
포괄적 CRUD, 88개 스텝 |
2. 현재 품질 등급 분포
개선 전후 비교
| 등급 |
개선 전 |
개선 후 |
변화 |
| A등급 (우수) |
7개 (7%) |
26개 (27%) |
+19개 |
| B등급 (보통) |
30개 (31%) |
29개 (30%) |
-1개 |
| C등급 (미흡) |
59개 (61%) |
41개 (43%) |
-18개 |
핵심 지표
| 지표 |
개선 전 |
개선 후 |
목표 |
| A등급 시나리오 |
7개 |
26개 |
35개 |
| CRUD 완전 테스트 |
5개 |
23개 |
40개 |
| expectedAPIs 포함 |
15개 |
35개 |
96개 |
| searchWithinParent 적용 |
3개 |
23개 |
96개 |
3. 공통 개선 사항
모든 개선 시나리오에 추가된 요소
- screenshotPolicy: 에러 시에만 스크린샷 캡처
- searchWithinParent: 부모 메뉴 내 검색 플래그
- closeOtherMenus: 다른 메뉴 닫기 플래그
- testData: 테스트 데이터 정의 (E2E_TEST_ 접두사)
- expectedAPIs: API 엔드포인트 정의
- requiredVerifications: 필수 검증 항목
- rollbackPlan: 실패 시 롤백 계획
CRUD 단계별 검증 추가
- CREATE: 등록 버튼 → 폼 입력 → API POST → 토스트 → 목록 반영
- READ: 상세 페이지 진입 → API GET → 데이터 일치 확인
- UPDATE: 수정 모드 → 필드 변경 → API PUT → 변경 반영
- DELETE: 삭제 버튼 → 확인 다이얼로그 → API DELETE → 목록 제거
4. 남은 개선 작업
우선순위 1: 회계 시나리오 (5개)
| 시나리오 |
현재 |
필요 작업 |
| accounting-payment.json |
C |
지급 관리 CRUD |
| accounting-ledger.json |
C |
원장 조회 기능 |
| accounting-daily-report.json |
C |
일보 조회 기능 |
| accounting-financial.json |
C |
재무제표 조회 |
| accounting-cost.json |
C |
원가 관리 기능 |
우선순위 2: 알림/기타 설정 (3개)
| 시나리오 |
현재 |
필요 작업 |
| settings-notification.json |
C |
알림 설정 |
| settings-account.json |
C |
계정 정보 |
| settings-company.json |
C |
회사 정보 |
우선순위 3: 기타 업무 시나리오
5. Git 커밋 이력
6. 결론
달성한 성과
- A등급 시나리오 4배 증가: 7개 → 26개 (271% 증가)
- CRUD 완전 테스트 5배 증가: 5개 → 23개 (360% 증가)
- 핵심 업무 시나리오 개선 완료: 입금, 출금, 휴가, 근태, 견적, 수주, 발주, 사원, 급여, 출고, 검사, 직책, 직급, 계좌
- 표준화된 시나리오 구조 적용: 22개 시나리오에 일관된 CRUD 패턴 적용
다음 단계
- 남은 C등급 시나리오 41개 → B등급 이상으로 개선
- 모든 시나리오에 searchWithinParent/closeOtherMenus 플래그 추가
- 모든 시나리오에 expectedAPIs 추가
- 테스트 데이터 격리 (E2E_TEST_ 접두사) 전면 적용
예상 효과
- 실제 기능 오류 발견율 4배 증가
- 회귀 테스트 신뢰도 향상
- QA 시간 단축
- 버그 조기 발견으로 개발 비용 절감
4765cd5484