audio streaming - 100ms 입력 버퍼를 30ms 패킷으로 나누기

 

 

 

실시간 음성 스트리밍 구현중 직면한 문제입니다.

 

 

우선 서버랑 클라이언트간 

16kHz, Int16, 30ms 단위로 buffer를 주고받으려고 하였습니다.

 

 

let sampleRate: Double = 16000
let frameDuration: Double = 0.03 // 100ms
lazy var audioFrameCount = Int(sampleRate * frameDuration)

 

 

 

스트리밍 보낼때 규격에 맞춰서 리샘플링한 데이터를 전송해주었는데

 

// 변환 후 데이터 전체를 한 번에 전송
let pcmBuf = AVAudioPCMBuffer(pcmFormat: mixerFormat, frameCapacity: frameCount)!
audioInputConverter?.convert(to: pcmBuf, error: nil) { _, outStatus in
    outStatus.pointee = .haveData
    return buffer
}

if let channelData = pcmBuf.int16ChannelData?.pointee {
    let array = Array(UnsafeBufferPointer(start: channelData, count: Int(pcmBuf.frameLength)))
    let data = Data(buffer: UnsafeBufferPointer(start: array, count: array.count))
    sendVoiceDataRelay.send(StreamRequest(..., data: data, ...))
}

 

 

받는쪽에서 음성 buffer가 엄청 끊겨서 들리는 문제가 있었습니다

 

 

 

 

확인해보니

iOS에서 마이크 입력을 받을 때,

audio engine의 입력처리 부분에서 100ms 간격으로 streaming 전송되고 있었습니다.

 

 

inputNode?.installTap(onBus: 0, bufferSize: tapFrames, format: audioInputFormat) {
                [weak self] (buffer, when) in
                // 여기서 찍어보니 100ms간격
}

 

 

audioFrameCount를 480(16000 * 0.03)로 설정해뒀는데도 30ms마다 보내야하는데

100ms 간격으로 전송하여 받는쪽에서 음성이 끊겨서 들렸었습니다.

 

왜 규격대로 맞춰준 예상 전송간격 30ms가 아닌 100ms인지 확인해보니,

audio engine의 입력 처리 최소 간격이 100ms 정도였고 이걸 더 낮추는게 불가능했습니다.

 

 

 

이를 해결하기 위해서

 

1. installTap 내부에서 100ms 반환되는 데이터를 큐에 담아주고 (*버퍼 큐)

 

2. 30ms 만큼 버퍼 큐에서 꺼내서 반환하였습니다. (*청크 분할)

 

3. 그리고 30ms 오디오 사이즈 (480 frame)만큼 잘린 데이터를 30ms 시간 간격으로 streaming 전송 해주었습니다. (*pacer)

-> installTap에서는 최소 간격이 100ms 이므로, 30m *3개 10ms * 1개 이렇게 전송이 이루어지게 됩니다.

-> 30ms 시간간격으로 streaming 해주기 위해 pacer가 필요

 

 

이렇게 3가지 개념을 (queue, chunk, pacer) 적용하여 해결하였습니다

 

 

 

조금 디테일하게 살펴보면

private let txQueue = DispatchQueue(label: "com.readysay.txPacer")
private var txAccum = [Int16]()
    

 inputNode?.installTap(onBus: 0, bufferSize: tapFrames, format: audioInputFormat) {
                [weak self] (buffer, when) in
                
            // 리샘플링 변환 AVAudioConverter로 48kHz → 16kHz 변환
            // ... 생략
            
            
            // 이후 버퍼큐에 오디오 샘플링 데이터 누적
            self.txQueue.async { [weak self] in
                guard let self = self else { return }
                self.txAccum += Array(UnsafeBufferPointer(start: chPtr, count: outFrames))
            }
 }

 

 

installTap의 반환 데이터인 리샘플링 데이터를 txAccum 버퍼 큐에 계속 누적해주었습니다.

 

이후

 

let framesPerPacket = 480 // 30ms @16k
...
let pkt = Array(self.txAccum.prefix(framesPerPacket))
self.txAccum.removeFirst(framesPerPacket)

 

 

480 frame 만큼 잘라내어 data로 만들어서 넘겨주며

480 frame이 안될경우 버퍼 큐에 남겨서 다음 tick때 넘겨지도록 해두었습니다.

 

 

guard self.txAccum.count >= framesPerPacket else { return }

 

 

 

아래는 디테일 한 코드입니다

 

private func startTxPacer(displayName: String) {
        guard txTimer == nil else { return }
        let framesPerPacket = 480        // 30ms @ 16k
        var started = false
        let minStart = framesPerPacket * 2 // ~60ms 만큼 쌓인 뒤 시작 (초기 끊김 방지)

        let timer = DispatchSource.makeTimerSource(queue: txQueue)
        timer.schedule(deadline: .now() + .milliseconds(30), repeating: .milliseconds(30), leeway: .milliseconds(3))
        timer.setEventHandler { [weak self] in
            guard let self = self else { return }
            if !started {
                if self.txAccum.count < minStart { return }
                started = true
            }
            guard self.txAccum.count >= framesPerPacket else { return }

            // 30ms 패킷 만들기
            let pkt = Array(self.txAccum.prefix(framesPerPacket))
            self.txAccum.removeFirst(framesPerPacket)

            var data = Data()
            pkt.withUnsafeBytes { data.append($0.bindMemory(to: UInt8.self)) }

            self.txSeq &+= 1
//            print("⏱️ TX tick → #\(self.txSeq) bytes=\(data.count)")

			// 데이터 스트리밍 전송 부분
            let sourceLang = LoginUserHashCache.checkSourceTranslateLnCodeHashCache()
            let targetLang = LoginUserHashCache.checkTargetTranslateLnCodeHashCache()
            let req = StreamRequest(userId: self.userId,
                                    channelId: self.channel.id,
                                    data: data,
                                    sourceLang: sourceLang,
                                    translateLang: targetLang,
                                    displayName: displayName)
            inputRelays.sendVoiceDataRelay.accept(req)
        }
        txTimer = timer
        timer.resume()
    }

 

 

그래서 100ms 마다 반환받은 오디오 데이터를

30ms 사이즈(480 frame) 만큼 청크를 분할하고

30ms 주기로 스트리밍에 담아 보내주도록 해주었습니다

 

 

이렇게 청크 분할을 적용하여

100ms 단위 입력 → 30ms 단위 출력으로 수정해주었습니다.

 

30ms,30ms,30ms,10ms 한번에 전송되지않고

일정하게 30ms 주기로 전송되도록 pacer를 적용하여 문제를 해결해주었습니다