WWDC 2016 - Go Live with ReplayKit

해당 글은, 화면방송에 대한 개인 공부를 진행하며 시청한 WWDC 2016 - Go Live with ReplayKit을 정리한 글 입니다.

해석과 정리된 내용이 완벽하지 않으므로, 잘못된 부분에 대해선 지적 부탁드립니다. 🙏

 

WWDC 2016 - Go Live with ReplayKit

 

ReplayKit은 사용자의 앱 내 화면과, 사운드 그리고 마이크의 오디오를 녹화할 수 있다.
이를 통해, 게임을 하는 동안 음성 내레이션이 가능하고, 이를 시스템 공유 시트를 사용해서 공유가 가능하다.

---

ReplayKit

1. Replaykit은 HD 화질의 비디오를 제공한다.

• 게임 성능에 거의 영향을 주지 않고, 배터리의 소모를 최소한으로 줄임

2. 개인정보를 보호한다

• 유저의 개인정보가 매우 중요하기 때문에, 녹화 시작 전에 사용자 프롬프트를 표시해서 유저가 직접 권한을 제공할 수 있도록 한다.
• 또한, 알림과 메시지 같은 System UI를 제외하고 기록된다.

3. iOS 9 이상부터 가능하다.

---

새로운 기능 소개

1. Apple TV OS에서 지원한다.

• 따라서, TVOS의 게임플레이도 녹화가 가능하다.

2. Live BroadCasting이 가능하다.

• Third-Party 서비스를 통해서 사용 가능함.

3. FaceTime 카메라를 녹화할 수 있다.

• 마이크의 녹음 관련 API를 향상시켰다.

---

ReplayKit Architecture

• 사용자의 앱은, OS에게 '지금 녹화를 시작했어!' 라고 알려야 할 필요가 있다
  -> 이를 위해 ReplayKit은 RPScreenRecorder 클래스를 제공한다.
• RPScreenRecorder를 통해서, 녹화를 시작할 수 있다.
• 녹화가 시작 된 순가, Replay Daemon으로 메세지가 전달되고, Replay Daemon이 앱 데이터를 읽어서 Movie 파일에 작성하기 시작한다.

• RPScreenRecorder 를 통해 녹화를 중지하게 되면, Replay Daemon 이 Movie 파일 작성을 중단하게 된다.
  -> 이 때, Movie 파일은 아직 Syetem상에 존재한다.
• 이 Movie 파일을 Application단으로 돌려주기 위해 RPPreviewViewController 를 제공한다.
  -> RPPreviewViewController 를 통해, 사용자는 영상을 미리보고, 편집하고, 공유할 수 있다.

---

Classes and Protocols

RPScreenRecorder

• 녹화를 시작, 중지, 취소 할 수 있다.
• 현재 디바이스가 녹화를 할 수 있는지를 체크할 수 있다.
• RPScreenRecorderDelegate
  • 녹화 가능 여부가 변경하는 시점을 전달해준다.
  • 에러로 인해, 녹화가 중단된 시점을 전달해준다.

RPPreviewViewController

• 녹화된 영상의 미리보기를 제공해준다.
• 영상의 수정과 잘라내기를 제공한다.
• 공유하기 기능을 제공한다.
• RPPreviewViewControllerDelegate
  • 프리뷰가 종료된 시점을 전달해준다.

---

ReplayKit on Apple TV

Start Recording

func didPressRecordButton() {
    let sharedRecorder = RPScreenRecorder.shared()
    sharedRecorder.startRecording { error in
        if error == nil { 
            self.showIndicatorView(text: "Recording")
        }
    }
}

• RPScreenRecorder의 인스턴스를 호출
• startRecording()를 호출해서, 녹화 시작!

func showIndicatorView(text: String) {
    self.recordingIndicatorWindow = UIWindow(frame: UIScreen.main().bounds)
    self.recordingIndicatorWindow?.isHidden = false
    self.recordingIndicatorWindow?.backgroundColor = UIColor.clear
    self.recordingIndicatorWindow?.isUserInteractionEnabled = false

    let indicatorView = IndicatorView(text: text)
    self.recordingIndicatorWindow?.addSubview(indicatorView)
}

• ReplayKit은 Application의 Main-Window만 녹화하기 때문에, 인디케이터가 포함되지 않도록 하기 위해, 별도의 Window를 생성한다.

func didPressStopButton() {
    sharedRecorder.stopRecording { previewViewController, error in
        self.hideIndicatorView()
        if error == nil {
            self.previewViewController = previewViewController
            self.previewViewController?.previewControllerDelegate = self
        }    
    }
}

• Stop 버튼을 눌러서, didPressStopButton()을 호출했다고 가정하자.
• RPScreenRecorder의 객체를 통해 stopRecording()을 호출하면, previewViewController 객체가 함께 넘어온다!
• 그리고, 넘어온 previewViewController를 self.previewViewController에 할당함으로써 사라지지 않도록 한다.
• previewControllerDelegate 또한, self로 위임.

func didPressPreviewButton() {
    if let preview = previewViewController {
        preview.mode = .preview /// .share 옵션도 있음.
        self.present(preview, animated: true)
    }
}

• preview를 실제 화면으로 보여줄 때, mode를 .preview, .share 중 하나를 선택할 수 있다.

func previewControllerDidFinish(_ previewController: RPPreviewViewController) {
    previewController.dismiss(animated: true)
}

• 모드에 상관없이 preview화면에서 돌아오려고 할 때 RPPreviewViewControllerDelegate의 previewControllerDidFinish(_ previewController: RPPreviewViewController)가 호출된다.
• 이 함수는 previewControoler를 전달해주기 때문에,현재 ViewController에서 dismiss 해준다.

---

Discarding the Recording

새로운 녹화가 시작이 되면, 이전의 녹화는 자동으로 제거된다

• 하나의 앱에는 하나의 Record만 허용되기 때문이다.
• 또한, RPScreenRecorder.discardRecording()를 호출하면 명시적으로 제거도 가능하다.

---

ReplayKit on Apple TV

• 앱의 비디오와 오디오 컨텐츠를 녹화할 수 있다.
  -> 마이크는 시스템에서 지정된 마이크를 수음한다.
• 프리뷰와 공유하기 기능이 가능하다.
• 단순한 API 항목들은 iOS와 같이 사용 가능함
• tvOS 10 부터 사용 가능하다.

---

Live Broadcast

• 유저는 본인의 게임 플레이를 외부 스트리밍 서비스를 이용해서 iOS 혹은 tvOS 디바이스를 통해 직접 생방송 할 수 있다.
• iOS는 실시간으로 FaceTime 카메라를 통해 게임 플레이에 대한 해설을 제공할 수 있다.
• 오디오와 비디오 데이터는 매우 안전하게 관리된다.

1. Initiating a Broadcast

func didPressBroadcastButton() {
    RPBroadcastActivityViewController.load { broadcastAVC, error in
        if let broadcastAVC = broadcastAVC {
            broadcastAVC.delegate = self
            self.present(broadcastAVC, animated: true)
        }
    }
}

• 실시간 방송을 위해, RPBroadcastActivityViewController 라는 클래스를 사용한다.
• 또한, RPBroadcastActivityViewController의 객체를 얻기 위해 .load() 함수를 사용한다.
• 이를 통해 실시간 방송 서비스를 제공하는 앱을 선택할 수 있는 화면을 표시할 수 있음.

// RPBroadcastActivityViewControllerDelegate
func broadcastActivityViewController(
    _ broadcastAVC: RPBroadcastActivityViewController,
    didFinishWith broadcastContoller: RPBroadcastController,
    error: NSError?) {
        broadcastAVC.dismiss(animated: true) {
            self.startCountDownTimer {
                broadcastController?.startBroadcast { error in

                }
            }
        }
    }
)

• 방송 서비스를 선택하고, 방송시작 전 여러 설정을 마치게 되면RPBroadcastActivityViewControllerDelegate의 함수인 broadcastActivityController를 호출한다.
• 해당 함수에서 broadcastAVC를 dismiss해주고, 일정 카운트다운 이후 방송을 시작한다.

2. Indicating a Broadcast

사용자가 현재 실시간 방송중 임을 알려주는 것이 중요하기 때문에,
broadcastController?.isBroadcasting을 활용해서 관련 UI를 노출시켜줘야함

3. Finish Broadcast

func didPressBroadcastButton() {
    self.broadcastController?.finishBroadcast { error in
        if error == nil {
            /// 방송 종료
            self.updateBroadcastUI()
        }
    }
}

// RPBroadcastActivityViewControllerDelegate
func broadcastActivityVeiwController(
    _ broadcastActivityViewController: RPBroadcastActivityViewController,
    didFinishWith broadcastController: RPBroadcastController,
    error: NSError?
) {
    self.broadcastController = broadcastController

    /// delegate를 세팅함으로써, error를 감지할 수 있음
    self.broadcastController?.delegate = self
}

// RPBroadcastControllerDelegate
func broadcastController(
    _ broadcastController: RPBroadcastContoller,
    didFinishWithError error: NSError?
) {
    if error != nil {
        self.showErrorMessage(text: error!.localizedDescription)
        self.updateBroadcastUI()
    }
}

func applicationWillResignActive() {
        // ReplayKit은 자동으로 방송을 일시 중지하게 된다.
}

func applicationDidBecomeActive() {
	if self.broadcastController?.isBroadcasting == true {
		self.promptUserToResumeBroadcast { userWantsToResume in
			if userWantsToResume {	
            	self.broadcastController?.resumeBroadcast()
				self.updateBroadcastUI()
			} else {
            	self.broadcastController?.finishBroadcast { error in
                	self.updateBroadcastUI()
				}
			}
		}
	}
}

• 추가적으로, 사용자가 앱을 background로 보내거나 전화가 오는 등의 상황이 발생하게 되면 실시간 방송은 자동으로 일시 중단된다.
• 따라서, 다시 앱이 활성화 되는 시점에 사용자에게 실시간 방송을 다시 재개할 것인지 물어봐야한다.

---

Classes and Protocols

Game API

RPBroadcastActivityViewController

• 현재 설치되어있는 broadcast 서비스들을 보여준다
• RPBroadcastActivityViewControllerDelegate
  • broadcast의 시작 준비가 완료되었음을 알려주는 delegate

RPBroadcastController

• broadcast를 시작 / 중지 하는 역할을 한다.
• 현재 방송의 상태(방송 중 인지)를 체크할 수 있다.
  • RPBroadcastControllerDelegate
    • broadcast중 발생하는 error를 다룰 수 있는 delegate

---

Broadcast Services

Broadcast UI Extension

• broadcast를 사용자가 준비할 수 있도록 보여주는 UI

Broadcast Upload Extension

• broadcast의 비디오 / 오디오 데이터를 업로드 처리 해주는 non-UI extension

---

Broadcast Extensions

• 부모 App에 Target으로 임베디드해서 사용한다.
• 별도의 App으로 사용하기 때문에, 부모 App과는 아예 분리된 Process에서 실행된다.
  • 하지만, 부모 App과의 데이터를 공유할 수 있다.
• 또한, Extension은 부모 App에 비해 주어진 리소스가 제한적이다.
  • 따라서, 효율적으로 관리해야함

---

Xcode Templates

• Add Target -> iOS/tvOS -> Application Extension -> Broadcast UI Extension & Broadcast Upload Extension

Xcode의 Target에 추가하게 되는 Extensions 항목에서 확인 가능

• 생성한 Extension에 대한 전처리(Pre-Configure)작업이 필요하다면, Extension에 생성된 info.plist에서 처리 가능하다.

1. Broadcast UI Extension

• 유저 인증을 제공해야함 (만약, 인증 정보가 없으면 회원가입도 제공)
  -> 유저 입장에서는, 별도의 앱인지 구분을 못하기 때문에 혼동이 일어나지 않음
• 이용약관 등의 정보도 이 곳에서 보여줘야한다.
• 방송준비과정도 이 곳에서 진행해야한다.
• 모든 준비가 완료 되었다면, 준비완료가 되었음을 ReplayKit에게 알려줘야한다.

2. Broadcast Upload Extension

• 전달받은 비디오 및 오디오 데이터를 서버에 upload해주는 과정을 수행
• 실제 broadcast를 위한 다양한 로직들을 이 곳에서 설계 및 구현 해야함

아래의 사진은, 각 Feature별로 담당해야하는 역할들

---

Expanded Commentary Options

• FaceTime 카메라를 지원한다

  if let cameraPreview = RPScreenRecorder.shared().cameraPreviewView {
      cameraPreview.frame = CGRect(...)
      self.view.addSubview(cameraPreview)
  }

• 유연한 카메라 녹음 기능

  func enableMic {
      RPScreenRecorder.shared().isMicrophoneEnabled = true
  }

  func disableMic {
      RPScreenRecorder.shared().isMicrophoneEnabled = false
  }

• iOS 10+ 적용