Декодирование видео с помощью ffms2 (ffmpegsource)

Я использую ffms2 (он же FFmpegSource) для декодирования видеокадров и отображения в пользовательском интерфейсе на основе wxWidgets. Мой плеер нормально работает с видео низкого разрешения (320*240, 640*480), но с большим разрешением (1080) очень тормозит. Я не могу подобрать нужный кадр для видео высокого разрешения. После анализа времени я обнаружил, что функция кадра FFMS_GetFrame() занимает гораздо больше времени для кадра с высоким разрешением. Вот результаты. 1. 320*240 FFMS_GetFrame занимает 4-6 мс 2. 640*480 FFMS_GetFrame занимает >20 мс 3. 1080*720 FFMS_GetFrame занимает >40

Это означает, что я никогда не удовлетворю требованиям 30 кадров в секунду для кадра 1080p с FFMS2. Но я не уверен, что это так. Пожалуйста, подскажите, что может пойти не так.

void SetPosition(int64 pos)
{
    uint8_t* data_ptr = NULL;
    /*check if position is valid*/

    if (!m_track || pos < 0  && pos > m_videoProp->NumFrames - 1)
        return; // ERR_POS;

    wxMilliClock_t start_wx_t =  wxGetLocalTimeMillis();
    long long start_t = start_wx_t.GetValue();
    m_frameId = pos;
   if(m_video)
   {
     m_frameProp = FFMS_GetFrame(m_video, m_frameId, &m_errInfo);

     if(!m_frameProp) return;

     if(m_frameProp)
     {
        m_width_ffms2 = m_frameProp->EncodedWidth;
        m_height_ffms2 = m_frameProp->EncodedHeight;
     }

       wxMilliClock_t end_wx_t =  wxGetLocalTimeMillis();
    long long end_t = end_wx_t.GetValue();
    long long diff_t =  end_t - start_t;
    wxLogDebug(wxString(wxT("Frame Grabe Millisec") + ToString(diff_t)));

    //m_frameInfo = FFMS_GetFrameInfo(m_track, FFMS_TYPE_VIDEO);

    /* If you want to change the output colorspace or resize the output frame size, now is the time to do it. 
    IMPORTANT: This step is also required to prevent resolution and colorspace changes midstream. You can 
    always tell a frame's original properties by examining the Encoded properties in FFMS_Frame. */

    /* A -1 terminated list of the acceptable output formats (see pixfmt.h for the list of pixel formats/colorspaces).
    To get the name of a given pixel format, strip the leading PIX_FMT_ and convert to lowercase. For example, 
    PIX_FMT_YUV420P becomes "yuv420p". */
#if 0
    int pixfmt[2];
    pixfmt[0] = FFMS_GetPixFmt("bgr24"); 
    pixfmt[1] = -1;
#endif
    // FFMS_SetOutputFormatV2 returns 0 on success. It Returns non-0 and sets ErrorMsg on failure.
    int failure = FFMS_SetOutputFormatV2(m_video, pixfmt, m_width_ffms2, m_height_ffms2, FFMS_RESIZER_BICUBIC, &m_errInfo);
    if (failure) 
    {
        //FFMS_DestroyVideoSource(m_video);
        //m_video = NULL;
        return; //return ERR_POS;
    }
     data_ptr = m_frameProp->Data[0]; 

  }
   else
   {
        m_width_ffms2 = 320;
        m_height_ffms2 = 240;
   }
   if(data_ptr)
   {
     memcpy(m_buf, data_ptr, 3*m_height_ffms2 * m_width_ffms2);
   }
   else
   {
     memset(m_buf, 0, 3*m_height_ffms2 * m_width_ffms2);    
   }
}

person praks411    schedule 21.06.2013    source источник


Ответы (1)


Более медленное декодирование видео с большими кадрами совершенно нормально. 1080x720 имеет примерно в десять раз больше пикселей, чем 320x240, поэтому неудивительно, что GetFrame занимает примерно в десять раз больше времени (это не строго линейная зависимость, так как есть много других факторов, которые влияют на скорость декодирования, но количество пикселей и время декодирования). достаточно коррелированы).

Установка выходного формата для каждого кадра не требуется и будет делать все намного медленнее. Если вы специально не хотите, чтобы выходной формат изменился, вы должны вызвать его только один раз после открытия видео, и он будет применяться ко всем запрошенным кадрам после этого.

person Thomas Goyne    schedule 21.06.2013
comment
Вы правы, я видел, что этот выходной формат настройки добавляет дополнительные 10-20 мс задержки. Я попробую установить его один раз на старте и посмотреть, как он себя поведет. Однако, если у вас есть еще предложения, пожалуйста, поделитесь. А пока я отмечу этот ответ как правильный. - person praks411; 22.06.2013