WWDC 2018 - Live Screen Broadcast with ReplayKit

해당 글은, 화면방송에 대한 개인 공부를 진행하며 시청한 WWDC 2018 - Live Screen Broadcast with ReplayKit을 정리한 글입니다.

해석과 정리된 내용이 완벽하지 않으므로, 잘못된 부분에 대해선 지적 부탁드립니다. 🙏

 

 

1. WWDC 2016 - Go Live with ReplayKit
2. WWDC 2018 - Live Screen Broadcast with ReplayKit

 

---

 

 

- ReplayKit은 사용자의 App의 화면, 오디오 및 마이크 사운드를 실시간으로 기록하고 수정하고 공유할 수 있게 해주는 프레임워크이다.
- ReplayKit은 Live Broadcast를 지원한다.

 

ReplayKit

 

• ReplayKit은 화면과 오디오 그리고 3rd-party 라이브스트리밍 서비스를 제공한다.
• ReplayKit은 실시간방송 앱을 위해 다른 Application에서 캡처한 콘텐츠를 수신받고, 동일한 디바이스에서 바로 서버로 인코딩 및 스트리밍 할 수 있는 기능을 제공한다.

 

ReplayKit은 아래와 같은 다양한 특징을 가진다

• HD 화질을 제공
• 낮은 지연 시간 
• 적은 성능 영향
• 적은 배터리 사용량
• 개인 정보 보호 방안 마련

---

Live Broadcast

• 3rd-party 서비스를 통한 라이브 방송 서비스를 제공한다.
• 오디오 및 비디오를 사용자의 디바이스에서 직접 stream 가능하다.
• 화면 녹화를 하는 동시에 마이크를 통한 사용자의 음성도 녹음 및 FaceTime을 활용한 카메라 기능도 제공한다 (카메라는 iOS 한정)
• 모든 콘텐츠들은 안전하고, 오직 broadcast service를 통해서만 접근 가능하다.

 

Usage example

• Youtube를 통한 게임 플레이 영상
• WebEx 전화를 통한 화면 공유
• TeamViewerQS와 같은 소비자 지원 작업
• 그림 그리는 앱을 Streaming 하는 Facebook

 

ReplayKit VS ReplayKit 2

• 기존의 ReplayKit을 활용한 broadcast에서는, 사용자가 App을 사용하여 방송을 시작하고 중지합니다.
• 부모 App은 ReplayKit API와 직접 통신하여 Extension앱을 통해 부모 App의 미디어 및 오디오 콘텐츠를 제공합니다.
• Extension앱은 해당 콘텐츠들을 인코딩하여 서버로 스트리밍 합니다.
• 이 전체의 과정을 우리는 In-App Broadcast라고 부릅니다.

In-App Broadcast 시나리오

 

 

새로워진 ReplayKit2에서는 특정 앱에 종속되는 화면이나 오디오뿐 아니라, 시스템 전체의 오디오를 녹음하고 화면을 방송할 수 있습니다.

• 사용자는 Contol Center를 통해 방송을 시작할 수 있습니다.
  - Control Center란, 디바이스 상단을 하단으로 swipe 하면 나오는 다양한 제어센터 항목들.. 그중에서, 화면 녹화 버튼을 사용
• 그리고 마찬가지로, 녹화되는 화면과 녹음되는 음성들은 Extension으로 구현된 앱에서 Server와 통신을 통해 방송이 됩니다.

iOS Syetem Broadcast 시나리오

 

콘셉트적으로, 이 두 개의 방식은 완전히 다르다.

 

1. In-App Broadcast

App or Game (앱 또는 게임)

• 비디오 또는 오디오 콘텐츠를 제공: 앱이나 게임에서 사용자에게 화면을 녹화하거나 방송할 수 있는 콘텐츠를 제공합니다.
• App 내에서 직접 방송 시작과 중지: 앱은 사용자에게 방송을 시작하고 중지할 수 있는 기능을 제공합니다.

Broadcaster App (Extension App) (방송 확장 앱)

• 3rd-party 스트리밍 서비스에 로그인: 방송 확장 앱은 사용자가 YouTube, Facebook Live 등의 외부 스트리밍 서비스에 로그인할 수 있도록 도와줍니다.
• 방송 콘텐츠를 서버에 업로드: 사용자가 방송 콘텐츠를 실시간으로 스트리밍 서비스의 서버에 전송하는 작업을 처리합니다.

 

2. iOS System Broadcast

• 화면에 노출되는 모든 활동과 사운드를 방송할 수 있다.
• Control Center를 통해서 방송의 시작 및 종료를 할 수 있다.
• 시스템 전반에 걸쳐서 실행되므로, 세션이 아래의 상황에서도 계속 이어진다.
  - 홈 화면에서 앱으로 이동하거나
  - 한 앱에서 다른 앱으로 이동할 때
• iOS11+ 에서 사용 가능하다.

 

---

 

System Broadcast Picker 

• 사용자들은 iOS syetem broadcast를 App을 벗어나지 않고 시작할 수 있고, 매우 단순한 버튼 하나로 동작이 가능하다.
• iOS 12부터 사용 가능하다. 

// RPSystemBroadcastPickerView
class RPSyetemBroadcastPickerView: UIView {
		open var preferredExtension: String
}

class ViewController: UIViewController {
    var broadcastPicker: RPSystemBroadcastPickerView?
    override func viewDidLoad() {
        super.viewDidLoad()
        broadcastPicker = RPSystemBroadcastPickerView(frame: 원하는_프레임)
        view.addSubview(broadcastPicker!)
    }
}

• UIView를 서브클래싱한 RPSystemBroadcastPickerView를 사용한다.
• Storyboard의 UI-Component로 사용할 수 있고, 코드 베이스로도 사용 가능하다.
• 이 새로운 API를 통해, 사용자는 Application에서 직접 방송을 시작할 수 있고, 화면녹화 및 설정을 활성화하는 방법 등을
  Control Center에서 쉽게 찾을 수 있다.

사용자는 자신의 서비스만이 PickerView에 노출되기를 원할 것이고, 
ReplayKit은 이것을 제공하기 위해 preferredExtension이라는 API를 제공한다.

 

 

preferredExtension

기본적으로 RPBroadcastPickerView는 Syetem에서 제공하는 다양한 `Broadcast Extension`을 사용자에게 보여주지만, preferredExtension`을 설정하여 특정 Broadcast Extension만 선택적으로 표시할 수 있다.

 

class ViewController: UIViewController {
    var broadcastPicker: RPSystemBroadcastPickerView?
    override func viewDidLoad() {
        super.viewDidLoad()
        broadcastPicker = RPSystemBroadcastPickerView(frame: 원하는_프레임)
        broadcastPicker?.preferredExtension = "com.vaultmicro.camerafi.ios.extension" // 나의 Extension에 대한 bundle identifier
        view.addSubview(broadcastPicker!)
    }
}

• preferredExtension속성은 broadcast picker를 특정 Broadcast Extension에 연결하는 역할을 한다.
• preferredExtension에는 사용자의 Broadcast Extension에 대한 Bundle Identifier를 등록할 수 있다.
  - 이렇게 되면, PickerView에는 사용자의 앱만 목록에 나옴.
• 그리고 해당 property는 `RPBroadcastPickerView`가 present 되기 전에 미리 setting 해야 한다.

 

RPSystemBroadcastPickerView

• RPSystemBroadcastPickerView는 방송을 시작하거나 선택할 수 있는 시스템의 UI를 표시한다.
• RPSyetemBroadcastPickerView는 사용자가 방송을 시작할 때, 여러 방송 옵션을 선택할 수 있게 해 준다.
• RPSyetemBroadcastPickerView는 방송 세션의 상태를 직접적으로 관리하지 않는다.
  - 해당 뷰는 broadcast session을 시작하고, 화면에 방송을 선택하는 UI를 표시하지만, 방송 세션 자체는 다른 클래스에서 관리한다.

 

Session과의 연결 요소

1. Screen recording control: 화면 녹화 제어를 담당한다.
2. Broadcast picker: 방송 서비스를 선택하고, RPSystemBroadcastPickerView가 담당
3. Status bar delegate: 상태 표시줄을 관리하는 부분

 

 

---

 

Developing Broadcast Extensions (For ReplayKit 2)

 

 

Broadcast App and Extension

• Broadcast App과 Extension은 분리된 바이너리 파일을 가지고 있다.
• 그리고 각각은 독립된 프로세스에서 동작한다.

Broadcast Application: 스트리밍 사이트 로그인, 방송 제목 설정 등등

Broadcast Upload Extension: sample을 인코딩, 실제 서버에 upload!

 

 

 

Broadcast Upload Extension

• App으로부터 오디오와 비디오 sample을 받아온다.
• 해당 sample을 인코딩해서, Video Stream에 업로드한다.
• 디바이스의 회전을 감지한다.

 

 

// SampleHandler created by Xcode templates for Upload Extension
class SampleHandler: RPBroadcastSampleHandler {
	// User has requested to start the broadcast
	override func broadcastStarted(withSetupInfo setupInfo: [String: NSObject]?)

	// User has requested to finish the broadcast
	override func broadcastFinished()

	// Handle the sample buffer here
	override func processSampleBuffer(
			_ sampleBuffer: CMSampleBuffer,
			with sampleBufferType: RPSampleBufferType			
	)

	// Use details of application to annotate the broadcast
	override func broadcastAnnotated(withApplicationInfo info: [String: NSObject])
}

 

• Broadcast Upload Extension을 생성하게 되면, SampleHandler라는 Class가 생성된다.
• 해당 Class를 활용해서, Broadcast내의 각종 이벤트를 처리하게 된다.
• 또한, App으로부터 들어오는 오디오와 비디오 sample을 처리하는 기능을 구현 가능하다

 

---

 

Broadcast Lifecycle

 

1. Handling Sign-In and Broadcast Setup

• 이 단계에서는 아직, Extension과의 연결이 되지 않은 상태이다.
• 또한, Extension과 연결되기 전 Broadcast Service의 로그인이나, 방송 제목 설정 등과 같은 방송 준비 과정을 세팅하게 된다.

2. Initialization

• Control Center를 통해서 혹은 Broadcast Picker가 구현된 사용자의 App을 통해   
• ReplayKit이 Extension의 프로세스를 실행시키면, SampleHandler 클래스의 인스턴스가 생성된다. 

class SampleHandler: RPBroadcastSampleHandler {
	// override init to read login credentials from shared keychain
	override func init() {
			super.init()
			session = BroadcastSession.instance
			var credentials = KeychainAccess.getLoginCredentials()
			session.authentificate(credentials)
	}
}

3. Handling broadcastStarted

• Extension이 실행되고 SamplerHandler 객체가 생성되면, Extension은 ReplayKit이 broadcastStarted(withSetupInfo:)라는 함수를 통해 비디오와 오디오 sample을 제공하기 시작함을 알린다.
• 이 broadcastStarted(withSetupInfo:)를 통해, 영상 엔진을 만들거나 sample을 실시간으로 받아서 인코딩하여 서버에 업로드하는 데 필요한 작업들을 수행하고 싶을 것이다.

4. Processing Media Samples

• ReplayKit은 영상 및 사운드 sample의 raw data을 제공해 주고, Extension은 이 데이터를 인코딩하는 작업과 이것을 실제 서비스에 전송하는 과정이 필요하다.

processSampleBuffer

ReplayKit은 Extension에 3가지 타입의 sample데이터를 전달한다.

• Video (녹화하는 화면)
• Audio[App] (실행중인 Application의 사운드)
• Audio[Microphone] (현재 마이크에서 수음되는 사운드)

Extension은 이 3가지 타입을 모두 인코딩하여, 원하는 스트리밍 서비스에 upload 한다.

override func processSampleBuffer(
	_ sampleBuffer: CMSampleBuffer,
	with sampleBufferType: RPSampleBufferType
) {
   switch sampleBufferType {
		    case .video:
				   var imageBuffer: CVImageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer)!
				   var pts = CMSampleBufferGetPresentationTimeStamp(sampleBuffer) as CMTime
				   VTCompressionSessionEncoderFrame(session, imageBuffer, pts, kCMTimeInvalid, nil, nil, nil)
				   break
			case .audioApp:
					// Handle audio sample buffer for app audio
					break
			case .audioMic:
					// Handle audio sample buffer for mic audio
					break
   } 
}

• 이 함수는 buffer의 타입 중 하나인 CMSampleBuffer를 인자로 받아온다.
• 또한, 이 코드 예시에선 CMSampleBuffer를 Encode 하는 과정을 보여준다.

5. Handling Application Information

• 이렇게 sample을 적절하게 encode 해서 서버에 upload 하면, 전 세계의 사람들은 해당 방송을 볼 수 있습니다.
• 하지만, 이 전 세계의 시청자들에게 '나의 방송'에 대한 정보를 알려야 할 필요가 있습니다.

따라서, ReplayKit은 broadcastAnnotatedWithApplicationInfo라는 API를 제공합니다.

broadcastAnnotatedWithApplicationInfo

• 이 API는 방송을 업로드 할 때, 해당 방송에 대한 정보 (방송 제목, 설명, 방송하는 게임 이름 등)을 서버에 추가로 포함시킬 수 있는 기능을 제공
• 비디오 및 오디오 sample을 Extension을 통해 서버에 upload할 때, 이 방송의 메타데이터를 함께 포함시킬 수 있습니다.

override func broadcastAnnotated(withApplicationInfo applicationInfo: [AnyHashable : Any]) {
	var bundleIdentifier = applicationInfo[RPApplicationInfoBundleIdentifierKey]
	if bundleIdentifier != nil {
			session.addMetadataWithApplicationInfo(bundleIdentifier)
	}
}

6. Handling broadcastFinished

• 어떠한 이유로 방송이 종료되면 Extension에서 broadcastFinished 함수가 호출된다.

7. Handling Error(ex. Sign-In)

• 방송을 실행하는 과정에서, 오류가 발생하면 (예를 들면 계정 관련) 이를 처리하기 위해서 ReplayKit은 특정 API를 제공해 준다.
• 그리고 Extension은 특정 API를 호출하고, ReplayKit은 Session을 종료하고 Extension이 제공한 Error Message를 포함한 Alert을 사용자에게 제공한다.

• 그리고, Alert 하단의 [Go To Application]을 선택하면, ReplayKit은 기존의 Application으로 사용자를 돌려보낸다.

override func broadcastStarted(withSetupInfo setupInfo: [String: NSObject]?) {
	// Verify user is logged in and there's network connectivity
	if session.userLoggedin() {
			session.createMediaEngine()
	} else {
			let userInfo = [NSLocalizedFailureReasonErrorKey: "Not Logged In"] 
			let error = NSError(domain: "RPBroadcastErrorDomain", code: 401, userInfo: userInfo)
			finishBroadcastWithError(error)
	}
}