: AWS 콘솔로 Device Farm을 실행하던 중, CLI 등으로 매일(혹은 매주..) 테스트를 자동 실행하도록 예약하면 효과적일 것 같아 해당 방법을 찾아보게 됐습니다. 우선 AWS CLI로 테스트를 실행해보았습니다.

1. AWS CLI 설치

: 공식 페이지 를 참고하여 AWS CLI 설치합니다.

$ curl "https://awscli.amazonaws.com/AWSCLIV2.pkg" -o "AWSCLIV2.pkg"
$ sudo installer -pkg AWSCLIV2.pkg -target /

2. AWS Console 에서 IAM 액세스 키 생성 후 자격증명

: AWS Console ➔ IAM ➔ 사용자 ➔ DeviceFarm 페이지(링크) 에서 Device Farm 접근 권한이 있는 IAM 액세스 키를 생성합니다. 이때, 비밀 액세스 키는 생성 시에만 확인할 수 있으니 적어둡니다.

3. AWS CLI 자격증명

: 아래 명령어로 AWS CLI 액세스 키/비밀 액세스 키를 등록합니다. 등록 내역은 ~/.aws/credentials 파일에서 확인할 수 있습니다.

$ aws configure 
AWS Access Key ID [None]: {액세스 키}
AWS Secret Access Key [None]: {비밀 액세스 키}
Default region name [None]: us-west-2
Default output format [None]:

4. AWS CLI로 Device Farm 테스트 실행

AWS CLI로 Device Farm의 테스트를 실행하는 방법은 공식 페이지에 자세하게 나와 있습니다. (공식 페이지)

위의 공식 페이지 안내사항을 따라서 실행 후 마지막 실행 상태를 확인(aws devicefarm get-run --arn ARN)하면 아래와 같이 테스트 결과를 확인할 수 있습니다. 아래 상태는 테스트 150 중 150개를 모두 실행(100개 pass, 50개 fail) 후 완료되기 직전 상태입니다.

AWS CLI로 실행 시작 시간 예약

: 이렇게 AWS CLI로 테스트를 실행하다 보면, 실행 시작 시간을 예약해서 쉽게 테스트를 실행할 수 는 없을까? 하는 생각이 듭니다. 특히나, 테스트 실행 명령어가 schedule-run 이고, 공식 페이지에도 6단계: 테스트 실행 예약 으로 나와 있어, 실행 시작 시간 예약이 당연히 되지 않을까? 하는 생각이 듭니다. 하지만...

1. 아래 AWS CLI/API의 테스트 실행 명령어/API 공식 문서를 확인하면, 별도의 실행 시작 시각 예약 지정은 할 수 없습니다.

• CLI(shedule-run): https://docs.aws.amazon.com/cli/latest/reference/devicefarm/schedule-run.html#schedule-run
• API(ScheduleRun): https://docs.aws.amazon.com/cli/latest/reference/devicefarm/schedule-run.html#schedule-run

2. Device Farm 명령어에서 별도의 실행 예약이 불가능하므로, 정해진 시각에 테스트를 실행하기 위해서는 서버에 배치를 등록하여 실행해야 합니다. API를 주기적으로 실행하도록 설정하거나(Postman 등으로 실행) Cron 명령어로 위의 AWS CLI 명령어를 실행하도록 하는 것입니다. (크론 명령어로 배치 등록은 생략하도록 하겠습니다. 관련 사항은 구글 등에서 cron batch 로 검색하면 쉽게 접근할 수 있을 겁니다.)

Step 1

: 초기 테스트 환경 구성은 Java + Appium + Simulator(혹은 실단말) 로 API와 Mobile APP 테스트를 진행하는 것입니다.

• Java (+TestNG) / Eclipse
• Appium (+Node)
• Test Application (Flutter, Oracle Cloud)

Step 2

: 테스트 환경을 구성하면서 확인해보니, Amazon Device Farm 환경을 구축하고 테스트를 진행해보는 것도 좋을 것 같아, 해당 환경에서 테스트를 진행해보았습니다.

• Amazon Device Farm

개발 목적

• 범용적인 테스트 자동화 프로젝트 제작 (다른 어플리케이션에 쉽제 적용 가능한 테스트 자동화 샘플)
• API 테스트 자동화 & UI 테스트 자동화 동시에 진행
• Amazon Device Farm을 활용한 테스트

테스트 타겟

: 많이 사용하는 기본 어플리케이션(구글, 유투브 등..)의 테스트 자동화 프로젝트를 진행하려 했으나, 그럴 경우 API 자동화를 진행하지 못해 샘플 어플리케이션(주소록 어플리케이션)을 제작하여 해당 어플리케이션의 테스트 자동화를 진행하였습니다.

• 주소록 어플리케이션(Link): iOS, Android Mobile APP

프로젝트 구조

• Control:
  • 드라이버 등 기본 환경 세팅 클래스
  • 클릭, 스크롤 등의 사용자 정의 함수 클래스.
• Business: 테스트 중 특정 페이지에서만 사용되는 별도의 함수가 필요할 경우 존재하는 클래스들
• Test: 테스트 클래스들

Amazon Device Farm

Amazon Device Farm의 공식 문서(링크) 에는 굉장히 친절하게 테스트를 구동하는 방법이 나와 있지만... 여러 오류들 때문에 많은 시행착오를 했습니다. 주 원인은 프로젝트 구조가 testng.xml 파일을 시작으로 테스트를 수행하는 구조여서 maven으로 테스트에 필요한 압축 파일을 빌드하는 데 많은 시행착오를 겪었습니다(*아래 별첨 참고).

아래는 Android 테스트 결과 비디오(*아래 별첨)와 테스트 성공 로그입니다. 주소록 어플리케이션의 검색 기능 중 아래 사항의 테스트 3개를 Pass했습니다. (iOS 테스트 결과도 아래와 유사하게 나왔습니다)

• 특정 검색어 API 응답 결과 확인
• 특정 검색어 어플리케이션 UI 결과 확인
• 위의 API/UI 결과 비교

Amazon Device Farm 장점

• 동영상 녹화 등 테스트 실행 시 설정할 수 있는 옵션이 있어, 자동으로 동영상 녹화를 해줍니다 : 해당 기능은 로컬 환경에서 테스트를 진행할 때 라이브러리를 사용하여 구현할 수 있지만, 테스트 시간과 용량 때문에 대체로 많이 사용하지 않았었는데, 클라우드 환경에서는 간편하게 사용이 가능했습니다.
• 여러 단말을 한꺼번에 테스트 진행할 수 있다. : 이 부분도 로컬 환경에서도 구축 가능하지만, 로컬 환경에서는 테스트 타겟과 무관한 이슈들이 있을 수 있는데 - 네트워크 이슈, 특정 설정 등 - 이러한 단점들을 클라우드 환경은 여러모로 보완해주고 있었습니다.
• Fuzz Test 를 지원하여, 테스트 수트를 구성하지 않았다면 임의로 테스트를 진행해볼 수 있다.
• Java, Python, Instrumentation.. 등 다양한 테스트 수트를 실행 가능합니다.

프로젝트 완료 후 아쉬운 점

• 샘플 어플리케이션의 아쉬움: Flutter로 AI를 사용해 엉성하게 만들었기 때문에 여러 기능이나 실제 어플리케이션처럼 데이터가 많지 않아 테스트를 폭넓게 진행하지 못했습니다. 기초적인 뼈대를 만들었다는 데에 의의가 있는 테스트 진행이었습니다.

• Amazon Device Farm 운용: 다양한 기능이 있는데, 일부 기능만을 사용하여 아쉬움이 남았습니다.

참고사항

** 위에 잠깐 언급했던, testng.xml 파일로(혹은 여러 xml파일들로) TestNG 테스트들을 실행해온 경우 아래와 같은 문제들이 있었습니다.

1. 프로젝트가 Java Application에서 구동된 적이 없어, maven 으로 빌드 불가능 (이 부분은 TestNG나 JUnit으로 테스트 클래스만을 실행하는 프로젝트들의 공통 문제일 것으로 생각됩니다.)
2. testng.xml 파일이 maven으로 빌드한 압축파일에 추가되지 않음 ➔ 이로 인해서 testng.xml로 작동하는 테스트 클래스들(모든 테스트 클래스들..)이 maven으로 빌드한 압축파일에 추가되지 않음

위 문제들은 아래와 같이 해결했습니다.

1. testng.xml 파일을 실행하는 main 클래스를 생성하여 Java Application으로 실행 후 maven 빌드

2. src/test/resource 에 testng.xml 를 추가 후 pom.xml의 경로에 해당 파일 추가

** 테스트 실행 비디오 용량 등을 고려하지 않고 테스트 실행 영상이 녹화되는 것은 Amazon Device Farm의 장점 중 하나라고 생각합니다.

• 테스트 자동화를 구축할 때 샘플로 사용할 어플리케이션 제작
• API 사용, UI 테스트 가능
• iOS, Android (+Web/Mobile Web) 모두 테스트 가능
• 범용적인 기능이 있는(다른 어플리케이션에 쉽게 적용 가능한) 어플리케이션

AI 사용

• AI 사용 부분: Flutter 어플리케이션
  • 사용 AI: Deepseek
• AI 미사용 부분: 서버 구현 (Oracle Cloud)

개발 어플리케이션

: Flutter 기반의 주소록 어플리케이션

• 검색 기능(주된 테스트 타겟) 존재
• 주소록의 인물 API 존재
• iOS/Android Mobile APP
• 기능:
  • 주소록의 사람 검색
  • 주소록의 사람 상세 페이지
  • 주소록의 사람 삭제
  • 주소록의 사람 정보 수정

결과물 시뮬레이션

(iOS/Android)

: 주소록 인물 검색 ➔ 인물 상세 페이지 ➔ 인물 정보 수정 ➔ 인물 삭제