리포트를

• 09 Dec, 2025
• • 테스트

TestRail 리포트를 보며 한 주를 반추한다

주말 저녁의 루틴 일요일 저녁 8시. 노트북을 켰다. TestRail 대시보드가 뜬다. 습관이다. 다른 사람들은 주말에 이런 거 안 본다. 나도 안 보려고 했다. 근데 월요일 아침이 불안하다. 그래서 일요일 밤에 본다. 이번 주 테스트 실행 횟수: 347건. Pass: 289건. Fail: 41건. Blocked: 17건. 숫자를 보면 한 주가 정리된다. 뭘 했는지 기억난다.월요일: 새 빌드의 시작 월요일 아침 9시. 새 빌드가 올라왔다. v2.3.5 → v2.3.6. 릴리즈 노트에 'Bug fixes'라고만 적혀 있다. 뭘 고쳤는지 물어봤다. "로그인 이슈요." 그게 다였다. 테스트 케이스 35개를 돌렸다. 로그인 관련 15개, 연관 기능 20개. 4시간 걸렸다. Pass 32건. Fail 3건. 로그인은 고쳐졌는데 프로필 이미지가 안 뜬다. 새 버그다. Jira 티켓을 만들었다. 재현 스텝 8단계. 스크린샷 4장. 로그 첨부. 개발자한테 슬랙 보냈다. "확인했습니다." 답장은 30분 후. TestRail에 결과 입력했다. 월요일 실행 건수: 35건. Pass율 91%. 나쁘지 않다. 화요일: 리그레션의 늪 화요일은 리그레션 테스트 날이다. 매주 화요일. 루틴이다. 전체 케이스 120개를 돌린다. 결제, 검색, 알림, 설정, 전부. 하루 종일 걸린다. 오전에 60개 끝냈다. 점심 먹고 오니까 빌드가 또 올라왔다. v2.3.7. "프로필 이슈 핫픽스요." 처음부터 다시. 60개 날아갔다. 오후 2시부터 다시 시작. 5시에 80개 끝냈다. 남은 40개는 야근. 8시 반에 마무리. TestRail에 결과 입력하면서 눈이 풀렸다. 화요일 실행 건수: 120건. Pass율 94%. Fail 7건은 전부 Known Issue. 재테스트 필요 없다. 집에 가는 지하철에서 TestRail 모바일로 한 번 더 봤다. 숫자 확인이 안심된다.수요일: 애매한 버그들 수요일 오전. 신기능 테스트. '추천 알고리즘 개선'이라는데 뭐가 개선됐는지 모르겠다. 기획서를 다시 읽었다. "사용자 행동 기반 맞춤 추천" 구체적 기준이 없다. PM한테 물어봤다. "어느 정도까지가 정상인가요?" "음... 합리적이면 되죠." 합리적. 참 좋은 단어다. 테스트 케이스에 못 쓴다. 일단 엣지 케이스를 생각했다.신규 유저는? 데이터 없는 유저는? 탈퇴 후 재가입은? 추천 거부한 유저는?20가지 시나리오를 만들었다. 하나하나 테스트했다. 신규 유저한테 추천이 안 뜬다. 버그인가? 스펙인가? 개발자한테 물었다. "데이터가 없으면 기본 추천이 나와야 하는데." 버그다. Jira 등록. Medium 우선순위. "이거 꼭 고쳐야 해요?" 기획자가 물었다. "신규 유저 온보딩에 영향 줍니다." "그럼 High로 올릴게요." TestRail에 Fail 체크. 수요일 실행 건수: 78건. Pass율 87%. 애매한 버그가 제일 힘들다. 목요일: 개발자와의 대화 목요일 오전. 개발자가 왔다. "어제 올린 버그요." "네." "재현이 안 되는데요." 시작됐다. 내 폰을 보여줬다. "여기서 이렇게 하면..." 버그가 재현됐다. "아, 제 폰에선 안 그랬는데." 당연하다. 환경이 다르다. 같이 30분 테스트했다. 조건을 찾았다. "로그인 → 로그아웃 → 재로그인 하면 나오네요." "이거 엣지 케이스 아닌가요?" 개발자가 말했다. "MAU 30만 중 10%는 이렇게 씁니다." 데이터를 보여줬다. "알겠습니다." 수정하기로 했다. 오후에 커피 마시면서 또 불렀다. "이 케이스도 봐주실래요?" 같이 테스트했다. 1시간 걸렸다. TestRail에 Note 필드를 채웠다. "재현 조건: 로그아웃 후 재로그인 상태" 다음 테스터가 볼 수 있게. 목요일 실행 건수: 52건. Pass율 96%. 개발자랑 같이 하면 Pass율이 오른다.금요일: 배포 전 긴장 금요일. 배포 예정일. 오전 10시 배포 회의. "이번 주 버그 현황 공유해주세요." 내 차례다. TestRail 리포트를 공유했다. "총 347건 실행. Pass율 92%." "Open 버그 5건. Critical 0건. High 2건." "배포 가능한가요?" CTO가 물었다. High 2건을 설명했다. "하나는 신규 유저 이슈. 영향 범위 작음." "다른 하나는 특정 디바이스 이슈. iOS 14.2 이하." "iOS 14.2 사용자 비율은?" "2.3%입니다." "배포 진행하죠." 결정됐다. 오후 3시. 배포 시작. TestRail에서 최종 체크리스트를 봤다. Smoke Test 25건. 하나씩 실행했다. 로그인. 회원가입. 결제. 푸시. 딥링크. 전부 Pass. 5시. 배포 완료. "수고하셨습니다." 슬랙 메시지. 집에 가는 길. 마음 한편이 불안하다. 주말에 장애 알림 올까? 주말: 숫자로 보는 한 주 일요일 저녁. 다시 TestRail. 한 주 리포트를 뽑았다.항목 수치총 실행 347건Pass 289건 (83%)Fail 41건 (12%)Blocked 17건 (5%)발견 버그 23건수정 완료 18건테스트 시간 약 32시간Pass율 83%. 지난주보다 2% 떨어졌다. Fail 41건을 하나씩 봤다.15건: 수정 완료 후 Pass 12건: Known Issue 8건: Blocked (개발 미완) 6건: 다음 주 재테스트6건이 신경 쓰인다. 월요일에 제일 먼저 할 일. 발견한 버그 23건. Jira에서 상태 확인했다.Resolved: 18건 In Progress: 3건 To Do: 2건To Do 2건이 마음에 걸린다. 우선순위가 낮아서 밀린 거다. 언젠가 터질 폭탄. 다음 주 계획 TestRail에 다음 주 테스트 플랜을 만들었다. "Week 23 Test Plan" 우선순위를 정했다.이번 주 Fail 6건 재테스트 신기능 'AI 채팅' 테스트 iOS 17 대응 확인 정기 리그레션AI 채팅이 걱정이다. 스펙이 계속 바뀐다. 테스트 케이스를 못 만들었다. 월요일 아침에 기획자 붙잡아야겠다. "정확한 스펙 주세요." 매번 하는 말. TestRail에 Draft 케이스를 만들었다. 일단 30개. 월요일에 리뷰 받고 추가할 것. 마음 한편 TestRail 리포트를 보면 한 주가 정리된다. 숫자로 보이니까 안심된다. 근데 동시에 불안하다. 내가 놓친 게 있을까? 배포된 앱에 숨은 버그가 있을까? 지난주에 장애가 하나 있었다. 결제 오류. 내가 테스트한 케이스였다. "Pass 했는데 왜 터졌어요?" 팀장이 물었다. "테스트 환경이랑 달랐습니다." 변명처럼 들렸다. 그 뒤로 테스트 케이스를 더 추가했다. 환경 변수 체크 항목. 네트워크 상태별 시나리오. Pass율이 떨어진 이유다. 케이스가 늘어나면 Fail도 늘어난다. 근데 그게 맞다. 더 많이 찾는 게 내 일이다. 숫자 너머 TestRail 숫자가 전부는 아니다. Pass 289건 뒤에는 사용자가 있다. 매끄럽게 로그인하는 사람. 오류 없이 결제하는 사람. 앱 켜자마자 크래시 안 나는 사람. 그게 내가 한 일이다. 숫자로는 안 보인다. 개발자는 기능을 만든다. 나는 기능이 깨지지 않게 지킨다. 화려하지 않다. 누가 칭찬하지도 않는다. "QA 덕분에 앱이 안정적이에요" 같은 말은 안 들린다. 대신 욕은 들린다. "버그가 왜 이렇게 많아?" 발견했으니까 많은 거다. 찾지 않으면 사용자가 찾는다. 리뷰에 별점 1점으로. 월요일 아침을 위해 일요일 밤 10시. TestRail 탭을 닫았다. 다음 주 체크리스트를 노트에 적었다. Fail 6건 재테스트 AI 채팅 스펙 확인 iOS 17 디바이스 세팅 리그레션 플랜 업데이트내일 아침 9시에 출근하면 바로 시작할 수 있다. 미리 정리해두면 월요일이 덜 힘들다. 노트북을 덮었다. 주말이 끝난다. 근데 마음은 편하다. 준비됐으니까.TestRail 리포트는 거짓말 안 한다. 숫자가 한 주를 말해준다.