Мое приложение (на Python) загружает библиотеку Gstreamer, анализирует и запускает спецификацию конвейера, которая объединяет субтитры из файла SRT поверх подготовленного видео из файла MP4, а затем создает источник управления с привязкой к свойству 'alpha' панели приемника элемента videomixer, который связан с источником изображения субтитров.
Сначала я написал небольшое доказательство концепции, которое работает как чемпион. Если вы можете запустить его с сервером X-windows (например, в Unix или Linux), вы увидите черный квадрат на зеленом фоне. Через секунду черный квадрат постепенно гаснет в течение нескольких секунд.
У моего приложения есть несколько более сложный конвейер. Ниже приводится краткое изложение соответствующего кода:
pipeline_spec = '''
videomixer name=mixer ! ... other stuff downstream
filesrc location=sample_videos/my-video.mp4 ! decodebin name=demuxer ! mixer.sink_0
filesrc location=subtitles.srt ! subparse ! textrender ! mixer.sink_1
demuxer. ! audioconvert ! audioresample ! faac ! muxer.
'''
self.pipeline = Gst.parse_launch(pipeline_spec)
mixer = self.pipeline.get_by_name('mixer')
#vidpad = mixer.get_static_pad('sink_0')
srtpad = mixer.get_static_pad('sink_1')
self.logger.debug([ pad.name for pad in mixer.pads ])
cs = GstController.InterpolationControlSource()
cs.set_property('mode', GstController.InterpolationMode.LINEAR)
binding = GstController.DirectControlBinding.new(srtpad, 'alpha', cs)
cs.add_control_binding(binding)
with open(srtfilepath) as srtfile:
for timestamps in parsesrt.parse(srtfile):
start, end = timestamps
self._set_subtitle_fade(alpha_cs, start, end)
def _set_fade_effect(self, controlsource, start, duration, alpha_begin, alpha_end):
controlsource.set(start, alpha_begin)
controlsource.set(start + duration, alpha_end)
self.logger.debug('set fade-{0} from {1} to {2}'.format('in' if alpha_begin < alpha_end else 'out', start, start + duration))
def _set_subtitle_fade(self, controlsource, start_subtitle, end_subtitle):
self._set_fade_effect(controlsource, start_subtitle, self.DURATION_FADEIN, 0, 1)
self._set_fade_effect(controlsource, end_subtitle - self.DURATION_FADEOUT, self.DURATION_FADEOUT, 1, 0)
Одно различие между этими двумя конвейерами состоит в том, что в первом примере панели видеомикшера - это панели запроса. Но в реальном приложении они оказываются статическими площадками. И в операторе журнала присутствует только «сток_1».
DEBUG, ['src', 'sink_1']
Я не уверен, почему это так и имеет ли это значение.
Когда я запускаю приложение на веб-сервере и проверяю его в браузере, субтитры появляются, но не исчезают и не исчезают.
Я проверил временные метки, и они выглядят хорошо. Они указаны в наносекундах (10 ^ 9).
set fade-in from 2440000000 to 3440000000
set fade-out from 2375000000 to 4375000000
set fade-in from 7476000000 to 8476000000
...
Итак, какой камень я оставил неперевёрнутым?
