[사례 분석] 토스 FE 개발자들의 검증법

1. 토스 FE 개발자의 AI 코드 검증 방식 

AI 도입으로 인한 개발 워크플로우 변화 

 

기존 프론트엔드 개발 워크플로우는 기획, 디자인, 코딩, 검증, 배포, 피드백의 순환 과정으로 이루어진다. 
AI 도입으로 인해 기획, 디자인 적용, 코드 리뷰, 배포 등 다양한 단계에서 효율성이 증대되어 결과물 생산량이 4배 증가했다. 
하지만 AI가 생성한 코드에 대한 이해와 검증 시간이 늘어나 최종 결과물에 대한 신뢰 확보에 어려움을 겪게 되었다. 

 

사용자 경험 기반 E2E 테스트

AI 코드 검증의 어려움을 극복하기 위해 E2E 테스트에 집중하게 되었다. 

초기에는 코드 자체에 모든 정보가 담겨 있다고 생각하여 코드 기반으로 E2E 테스트를 생성하려 했으나

코드의 방대함으로 인해 실제 의도를 파악하기 어려웠다. 

 

서비스 개발자들과의 소통을 통해 그동안 최종 검증은 사람 손으로 하고 있었다는 것을 확인했고

E2E 테스트에 대한 필요성은 느끼나 리소스 부족으로 하지 못하고 있다는 것을 확인했다.

 

 

수동으로 진행되던 테스트를 자동화하는 방안을 모색했다. 
이상적인 E2E 테스트는 다음과 같은 특징을 가진다.

1. 최소한의 의존성으로 표면 자체에 집중하여 실제 사용자 경험을 정확히 검증한다. 
2. 실행 시마다 일관된 결과를 보장하여 예측 불가능한 실패를 줄인다. 
이러한 E2E 테스트 과정에 AI를 최대한 활용하여 생산 및 유지보수 비용을 절감하고

테스트 가능한 AI 친화적인 환경을 구축하는 것을 목표로 삼았다. 

 

AI 기반 E2E 테스트 구축 과정 

코드 기반 접근 방식의 실패 후 인간 중심적 관점으로 전환하여 E2E 테스트 구축을 시작했다. 
E2E 테스트가 큰 자산이 될 수 있는 팀을 직접 찾아가 서비스 개발자들의 요구사항을 파악하고 테스트를 직접 작성했다. 

 

자연어 지시를 통해 AI 에이전트가 테스트를 수행하고 필요한 경우 수동으로 개입하여 시나리오를 완성한 후 E2E 테스트 코드를 생성하는 방식으로 진행된다. 이 과정을 통해 E2E 테스트 작성이 용이해졌다.

 

AI를 활용한 테스트 오류 수정 및 개선 

 

E2E 테스트의 깨지지 않는 안정성 확보와 CI 환경에서의 AI 자동 수정을 목표로 삼았다. 
테스트 실패 시 원인 파악을 용이하게 하기 위해 리플레이 도구를 개발하여 실패 영상, 디바이스 로그, API 호출 기록 등을 저장한다. 
AI 에이전트에게 실패 영상과 로그를 제공하여 오류를 분석하고 스스로 수정하도록 한다. 
인간 사용자를 위한 도구를 먼저 구축한 후 AI에게 제공하는 방식이 AI의 활용도를 극대화하며 강력한 성능을 발휘하게 한다.