Панорамирование WebAudio не работает с WebRTC

Я пытаюсь заставить панорамирование звука работать со звуком, полученным через WebRTC, но с приведенным ниже кодом он вообще не выводит звук. Но когда я делаю то же самое с моим локальным аудио MediaStream, это работает.

В чем может быть проблема?

var AudioContext = window.AudioContext || window.webkitAudioContext
audioCtx = new AudioContext()
audioCtx.listener.setOrientation(0,0,-1,0,1,0)

var panner = audioCtx.createPanner()
panner.setOrientation(1,0,0)
panner.refDistance = 20
panner.coneInnerAngle = 360
panner.coneOuterAngle = 0
panner.panningModel = 'equalpower'

var source = audioCtx.createMediaStreamSource(peer.stream)
source.connect(panner)
panner.connect(audioCtx.destination)