iOS에서의 Audio Session

Apple의 Audio Session Documentation 을 참고하여 따로 정리해본 오디오 세션 정리글입니다. Audio Session 동작에 대한 개괄적인 설명과 play, record 등을 위한 Audio Session Setting 방법을 다룹니다. 더 상세히 공부하고 싶다면 여기를 참고하세요.

---

Audio Session

Audio Session은 다음 그림으로 이해할 수 있다.

• OS단에서 관리하는 오디오 모듈이 있음. 애플에서는 앱에서 이 오디오 모듈과 통신할 수 있도록 오디오 세션 API를 제공함
• 앱이 시작되면 자동으로 오디오 세션이 제공됨 (AVAudioSession. 싱글톤) 오디오 세션의 라이프사이클은 앱의 라이프사이클과 일치
• 앱의 라이프사이클동안, 앱 오디오 세션과 OS단과의 인터랙션은 이 AVAudioSession 객체만을 통해 이루어진다
• 앱에서는 오디오 세션을 통해 다음과 같은 것들을 OS에 알릴 수 있다
  • 우리앱에서 오디오를 쓸거야 / 다 썼어 (active, deactive)
  • 우리앱에서 오디오를 어떤 모드로 사용할지 (category, mode, option)
  • 다른 앱들이랑 우리 오디오랑 어떻게 호환할지 (mix, interrupt option)
  • <참고> 이런 것들은 상황에 따라 제약이 걸리기도 해서 완벽히 자유롭게 설정할 수는 없다
• 오디오 세션은 앱에게 다음과 같은 것을 알려줄 수 있고, 앱은 이에 적절히 대응해야 한다
  • Audio Interrupt 발생
  • Audio Route Change 발생
  • <참고> 위 2가지는 아래에서 상세히 다룰 예정

 

Audio Session Active & Deactive

Active & Deactive 방법

• AVAudioSession.shared.setActive(_, options:)
• true or false 를 넘겨서 active / deactive
• 항상 성공이 보장되지 않음

Audio Session Active (활성화)

• 간단히 표현하면, OS에게 앞으로 이 앱이 오디오를 쓸 것이라고 알리는 것. 오디오 enabled
• 앱이 사용할 오디오 옵션들을 구성한 뒤, 이 옵션을 반영하기 위해서는 오디오 세션을 활성화 해야한다
• 예시 > Apple Music 이 Background에서 Play 중인 상황에서, 내비게이션 앱이 경로 안내 TTS Sound를 Play 해야할 경우, ‘이제부터 이 앱이 Sound를 Play 할 거니까 다른 앱에서는 소리를 조금 줄여달라’ 라고 알려줄 수 있어야 한다. 이럴 때 Audio Session Active가 필요한 것. 아이폰에서 background music 을 재생한 채로 대중적인 지도 앱에서 내비게이션 경로 안내를 받아보면 오디오가 위와 같이 동작하는 것을 확인해볼 수 있다.
• 앱에서 Active를 요청했더라도 만약 우선순위가 더 높은 오디오 세션이 Active 되어있다면 (ex: incoming call) 앱의 active 요청은 실패한다

Audio Session Deactive (비활성화)

• OS에게 이 앱이 오디오를 다 썼다고 알리는 것. 오디오 disabled
• 예시 > 위 Active 예제에서 뉴스 앱에서의 TTS가 끝난 시점에 볼륨이 작아졌던 외부 앱들의 소리를 다시 원복할 수 있어야 한다. 이럴때 뉴스 앱에서 Audio Session Deactive 를 통해 오디오세션을 비활성화하고 재생을 중단하겠다고 OS에게 알려줄 수 있다

 

Audio Route

Audio Route란?

Electronic pathway of Audio signal. 오디오 입력 소스(built-in speaker, 외부 마이크 등)에서부터 오디오 출력 소스(헤드폰, 블루투스 오디오 등)까지의 pathway라고 생각하면 된다.

Audio Route Change에 대응하기

• 오디오 input/output이 추가되거나 제거되었을때 Audio Route가 변한다
• 예를 들어, 헤드폰 단자를 꽂거나 블루투스 이어폰을 연결했다고 생각해보자. 이때 오디오 세션은 Audio signal을 reroute 한다(==오디오 입출력 pathway를 다시 잡는다). 헤드폰 연결 전의 출력 소스가 폰 스피커였다면, 헤드폰 연결 후에는 출력 소스가 헤드폰으로 변경된다.
• OS에서 Audio Route 변경되었다는 신호를 주기 때문에 (Notification) 앱에서는 이 시점을 감지할 수 있다.

Audio Route Change에 대한 오디오 동작의 예시 플로우

• 위는 iOS 앱에서 전형적으로 발생하는 Audio Route Change 상황에 대한 플로우이다.
• 플로우의 마지막 Action은 애플이 권장하는 사항이며, 앱의 서비스 정책에 따라 다른 처리를 해도 된다
• <참고> 애플의 권장사항: 일반적으로 사용자들은 헤드폰을 연결할 때 앱에서 재생하고 있던 콘텐츠를 그대로 이어서 재생하기를 원할 것이다. 반대로 헤드폰의 연결을 해제할 때에는 앱에서 재생하고 있던 콘텐츠를 폰 스피커로 이어서 재생하는 것을 원치 않을 것이다(privacy적인 이유로). 앱에서는 이런 암묵적인 룰을 존중해주는 것이 좋다. 예를 들면, 에어팟을 사용하여 유튜브 앱에서 영상을 보다가 에어팟을 갑자기 빼서 연결을 해제했을 때 보고있던 영상이 자동으로 멈추는 것을 떠올려볼 수 있다.
• <참고> 애플에서 제공하는 AVPlayer 를 사용하면 위 동작이 자동으로 보장된다. 반대로 말하면, 위와 다른 동작을 구현하고 싶다면 해당 플로우에 대해 추가 개발이 필요하다.

개발 API

• AVAudioSession.routeChangeNotification
• Audio Route Change Reason: 위 노티에 포함된 정보
  • newDeviceAvailable - 새로운 기기 연결 시. 현재의 새로운 Audio output 이 어디로 route 되었는지의 정보가 들어있음
  • oldDeviceUnavailable - 기존의 기기 연결 해제 시. 해제된 route에 대한 정보가 들어있음

 

Audio Interrupt

Audio Interrupt란?

우리 앱에서 OS 오디오 세션을 Active하고 오디오를 재생하는 도중, 우리 앱의 오디오보다 우선순위가 더 높은 오디오 이벤트가 발생할 수 있다. 예를 들면, 폰에서의 incoming call이 있다. 이 경우 call 의 우선순위가 더 높기 때문에 앱에서 재생되던 오디오는 멈추고 전화벨 소리가 재생된다. 우리 앱의 입장에서 이것이 ‘Audio Interrupt가 발생한 것'이다.

반대로, 타 앱이 재생중인 상황에서 우리 앱이 그것을 중지시키고 우리 앱의 오디오를 재생하게 할 수도 있다. 예를 들면, 팟캐스트가 재생되고 있는 도중 Apple Music 앱에서 음악을 재생시키는 경우를 생각해보자. 이때 팟캐스트의 재생 항목은 일시정지 되고 Apple Music 에서의 미디어가 재생되게 된다. 이 상황이 Music 앱이 ‘Audio Interrupt를 발생시킨 것’이다.

참고로 위와 같은 상황에서 하나의 오디오를 정지시키지 않고 둘 다 소리를 출력할 수 있도록 옵션을 설정할 수도 있다(mix). 몇 가지 옵션을 통해 두 개를 동일한 볼륨으로 출력할지, 다른 앱의 소리를 상대적으로 낮출지 등도 선택할 수 있으며, 이에는 약간의 제약사항도 존재한다. 옵션에 대한 것은 밑에서 따로 다룬다.

Audio Interrupt에 대응하기

Audio Interrupt가 발생했을 때와 끝났을 때, 오디오 세션에서 notification 을 발생시킨다. 앱에서는 이 노티를 받아 필요한 대응을 할 수 있다.

앱의 오디오 세션에서 Interrupt가 발생했다가 끝나는 플로우 예시

Interrupt Begin

• 앱에서 잘 재생하고있던 오디오가 외부 요인에 의해 멈출 때
• 우리 앱에서 오디오 세션을 active 하고 오디오를 재생하던 도중, 우선순위가 더 높은 오디오 이벤트가 발생할 경우 Interrupt가 발생한다
• ex) Incoming call, 재난경보, mix를 허용하지 않는 다른 앱에서의 사운드세션 Active 등
• 이 경우 우리 앱의 오디오 세션이 경쟁에서 밀려 비활성화(deactive)된다
• 오디오 세션으로부터 Audio Interrupt Notification 을 받을 수 있다
• 재생중이던 오디오가 멈췄기 때문에, 앱 서비스 정책에 따라 적절한 처리가 필요 (ex) 뮤직플레이어의 재생버튼을 일시정지 버튼으로 변경해주기 등

Interrupt End

• 우리 앱에 Interrupt를 발생시킨 외부 요인의 세션이 끝났을 때를 가리킴
• ex) 걸려오던 전화를 유저가 무시했을 때, 재난경보를 닫았을 때, 다른 앱에서 오디오 재생이 끝났을 때 등
• 오디오 세션으로부터 Audio Interrupt Notification 을 받을 수 있다
• 앱에서 오디오 세션을 다시 활성화하고 일시정지됐던 오디오를 resume 하는 등의 처리를 하면 된다 (중단된 시점에서의 유저 context에 따라 적절한 처리가 필요)

개발 API

• AVAudioSession.interruptionNotification
• AVAudioSession.InterruptionType: 위 노티에 포함된 정보
  • began - 앱 오디오 Interrupt 시작됨
  • ended - 앱 오디오 Interrupt 끝남. (항상 호출된다는 보장은 없음)
    • AVAudioSessionInterruptionOptionKey 의 .shouldResume 을 체크해보면 resume 권장여부를 알 수 있다

참고

OS로부터 인터럽트 신호는 받을 수 있으나, 그 원인이 어떤 것인지는 알 수가 없다. 따라서 실제 코드에서는 Call Begin/End를 감지할 수 있는 CallKit 을 함께 사용하여 구현하고 있다. 인터럽트 원인이 Call인지, 외부앱인지에 따라 다른 처리가 필요하기 때문.

또한 실제 프로젝트에서는, 외부앱에 의해 Interrupt 되어 오디오 세션이 Deactivate 된다고 해서 외부앱의 재생이 끝나는 것만 기다리고 있으면 안 되는 경우가 있다. Deactivate 된 것을 감지한 직후라도, Sound 재생이 반드시 필요한 경우에는 Audio Session 을 다시 Activate 해야 한다는 것을 주의하자.

 

Audio Session Setting

Category / Mode / CategoryOptions 세 가지 범주를 소개하겠다. OS에게 앱에서 오디오를 어떻게 쓸지 알려주기 위한 방법들이며, 새로이 설정할 때에는 명시적으로 오디오세션을 deactive 후 다시 active 해주어야 한다. 주요한 것들 위주로 간단히 설명하겠다.

Category

경험 상 많이 쓰이는 것들

• playback: 무음모드일때도 소리 남
• playAndRecord: 녹음과 재생 같이 쓸 때 사용. 소리 input 필요할때 쓴다. 무음모드일때도 소리 남
• 위 카테고리 2개는 default가 noxmixable이며 (다른 앱과 소리 동시에 들리지 않음) 옵션을 통해 mixable하게 만들 수 있다

그 외의 것들

• ambient: for play along. mixable. 무음모드일 때 소리 안 남
• soloAmbient: default. nonmixable. 무음모드일 때 소리 안 남
• record: 오디오 녹음만을 위함 (재생 불가)
• multiRoute: 여러 루트로 오디오 출력 시 사용

아래는 간단한 비교 테이블이다. 원하는 스펙을 찾아 사용하면 된다.

Category	폰 무음모드 or Lock 상태에서	다른 앱 오디오와 상호작용	input(recording)/output(playback)
ambient	play X	mix	output only
soloAmbient	play X	interrupt	output only
playback	play O	interrupt (옵션 추가로 mix 가능)	output only
record	record O	interrupt	input only
playAndRecord	play O record O	interrupt (옵션 추가로 mix 가능)	input & output
multiRoute	play O	interrupt	input & output

 

Mode

경험 상 많이 쓰이는 것들

• default: 웬만하면 이걸로 하면 된다
• moviePlayback: 영상 재생 시
• videoRecording: 영상 녹화 시
• spokenAudio: for continuous spoken audio. (ex) 팟캐스트 앱은 이 모드를 사용
• voicePrompt: 카플레이 등을 위한 모드. for text-to-speech
  • (추천 호환 옵션: duckOthers & interruptSpokenAudioAndMixWithOthers)

참고사항

• Category와 Mode가 호환이 안 되는 쌍이 존재함. 그럴 때는 setting 이 아예 실패하므로 주의
  • (ex) videoRecording은 record, playAndRecord 카테고리가 아니면 사용할 수 없다
  • (ex) playAndRecord + .voicePrompt 는 같이 사용할 수 없다

 

CategoryOptions

경험 상 많이 쓰이는 것들

• mixWithOthers: 다른 앱의 소리와 우리 앱 소리가 함께 들릴 수 있게 하는 옵션.
• duckOthers: mixWithOthers 를 기본으로 채택하면서 +우리 앱에서 소리가 날 때는 다른 앱 소리를 살짝 죽이는 옵션.
• interruptSpokenAudioAndMixWithOthers: mixWithOthers를 기본으로 채택하면서 + 다른 앱에서 spokenAudio 가 출력될 때에만 interrupt 걸고 우리 앱이 소리를 독차지 (*라디오, 팟캐스트 등을 생각하면 됨)
  
  • <참고> duckOthers와 함께 사용하게 되면 다른 앱에서 Media 종류의 Audio 를 재생할때는 duckOthers 의 설정을 따르고, 다른 앱에서 spokenAudio가 출력되고 있을 때에만 우리 앱이 interrupt 를 걸어버린다
• allowBluetoothA2DP: 블루투스 디바이스 지원을 위한 옵션
  • playback 카테고리에서는 기본제공이지만 playAndRecord 카테고리에서는 기본이 아니기 때문에 따로 셋팅해주어야 함
• defaultToSpeaker: 연결된 오디오 receiver가 따로 있을때(ex: 아이폰 built-in receiver, 이어폰, 카오디오 등), 그쪽이 아닌 폰 speaker로 오디오를 전달하게 해주는 옵션
  • playAndRecord 카테고리에서만 유효한 옵션
  • 이 옵션과 같은 역할을 하는 AVAudioSession.sharedInstance().overrideOutputAudioPort(.speaker) 라는 일회성 함수도 있다

매너를 지키자

• duck/interrupt 옵션을 사용했다면 오디오가 종료될 때 deactive(with notifyOthersOnDeactivation option)를 통해 외부 앱들이 다시 오디오 세션을 차지할 수 있도록 알려주어야 한다

---

<참고> Navigation 앱을 위한 애플의 Audio Guideline

알아볼 일이 있어서 좀 알아보았던 것을 공유

• Audio Session Category: .playback 과 .playAndRecord 사용하기
• Audio Session Mode: Carplay 시에는 .voicePrompt 사용하기
• 타 앱과의 오디오 정책 : [.duckOthers, interruptSpokenAudioAndMixWithOthers]
  • SpokenAudio 는 interrupt (라디오/팟캐스트가 겹치면 그것들을 일시정지 하기)
  • 그 외의 오디오(music 등)와는 mix & ducking (음악 소리 줄어들며 동시에 출력)
• Prompt 재생(내비 TTS)이 필요하기 전까지는 오디오 세션을 활성화하지 말라
• Prompt 재생(내비 TTS)이 끝나면 즉시 오디오 세션을 비활성화하라
• 한 번 Interrupt 당한 prompt를 즉시 다시 재생하려고 시도하지 말라