libav sws_scale() не выполняет преобразование цветового пространства на реальном устройстве, работает на эмуляторе

Я делаю киноплеер с libav. У меня работает декодирование видео пакетов, работает воспроизведение в обратном направлении, работает поиск. Все это не работает на эмуляторе Android x86, но не работает на реальном телефоне Android (arm64-v8a)

Сбой в sws_scale() - возвращает 0. Видеокадры продолжают нормально декодироваться без ошибок.

Ошибок, предупреждений, алертов от libav нет. Я подключил avlog_callback

void log_callback(void *ptr, int level, const char *fmt, va_list vargs) {
    if (level<= AV_LOG_WARNING)
        __android_log_print( level, LOG_TAG, fmt, vargs);
}
uint64_t openMovie( char* path, int rotate, float javaDuration )
{
    av_log_set_level(AV_LOG_WARNING);
    av_log_set_callback(log_callback);

Код для выполнения sws_scale():

int JVM_getBitmapBuffer( JNIEnv* env, jobject thiz, jlong av, jobject bufferAsInt, jbyte transparent ) { 
    avblock *block = (avblock *) av;
    if (!block) {
        __android_log_print(ANDROID_LOG_ERROR, LOG_TAG, "  avblock is null");
        return AVERROR(EINVAL);
    }
    if (!block->pCodecCtx) {
        __android_log_print(ANDROID_LOG_ERROR, LOG_TAG, "  codecctx is null");
        return AVERROR(EINVAL);
    }

    int width = block->pCodecCtx->width;
    int height = block->pCodecCtx->height;

    if (NULL == block->sws) {
        __android_log_print( ANDROID_LOG_ERROR, LOG_TAG, "getBitmapBuffer:\n  *** invalid sws context ***" );
    }

    int scaleRet = sws_scale( block->sws,
            block->pFrame->data,
            block->pFrame->linesize,
            0,
            height,
            block->pFrameRGB->data,
            block->pFrameRGB->linesize
    );
    if (scaleRet == 0 ) {
        __android_log_print(ANDROID_LOG_ERROR, LOG_TAG, "  scale failed");
        __android_log_print(ANDROID_LOG_ERROR, LOG_TAG, "  pframe linesize    %d", block->pFrame->linesize[0]); 
        __android_log_print(ANDROID_LOG_ERROR, LOG_TAG, "  pframergb linesize %d", block->pFrameRGB->linesize[0]); 
        __android_log_print(ANDROID_LOG_ERROR, LOG_TAG, "  height  %d",
        height);
        return AVERROR(EINVAL);
    }

Настройка кодекса и avframes:

//i have tried every combination of 1, 8, 16, and 32 for these values
int alignRGB = 32;
int align    = 16; 
int width    = block->pCodecCtx->width;
int height   = block->pCodecCtx->height;
block->pFrame    = av_frame_alloc();
block->pFrameRGB = av_frame_alloc();

block->pFrameRGBBuffer = av_malloc(
    (size_t)av_image_get_buffer_size(AV_PIX_FMT_RGB32, width, height, alignRGB) 
);

av_image_fill_arrays(
    block->pFrameRGB->data,
    block->pFrameRGB->linesize,
    block->pFrameRGBBuffer,
    AV_PIX_FMT_RGB32,
    width,
    height,
    alignRGB
);

block->pFrameBuffer = av_malloc(
        (size_t) av_image_get_buffer_size(block->pCodecCtx->pix_fmt,
                                          width, height, align
        )
);
av_image_fill_arrays(
    block->pFrame->data,
    block->pFrame->linesize,
    block->pFrameBuffer,
    block->pCodecCtx->pix_fmt,
    width, height,
    align
);
block->sws = sws_getContext(
    width, height,
    AV_PIX_FMT_YUV420P,
    width, height,
    AV_PIX_FMT_RGB32,
    SWS_BILINEAR, NULL, NULL, 0
);

Подстановочные знаки это:

  • Я использую React-Native
  • Мой эмулятор x86 android api 28
  • Мое реальное устройство - arm64-v8a AOSP (примерно API 28, точно не помню(

Другие примечания:

  • Файлы libav .so скомпилированы из проекта mobile-ffmpeg.
  • Я также могу sws_scale также работать на Linux x86_64, используя SDL для проекта YV12
  • Тестовое видео находится здесь: https://github.com/markkimsal/video-thumbnailer/tree/master/fixtures
  • block — это простая структура C с указателями на соответствующие структуры AV-памяти.
  • Использование FFMPEG 4.3.2

Я почти уверен, что это как-то связано с выравниванием пикселей. Но документации по этой теме практически нет. Это также может быть разница между форматами пикселей RGBA и RGB32 или, возможно, прямым и обратным порядком байтов.


person chugadie    schedule 23.08.2020    source источник


Ответы (1)


Это известная ошибка в FFMPEG на архитектуре ARM.

Мифтв опубликовал обходной путь, который включает вычитание 1 из ширины места назначения, чтобы обойти неработающий код оптимизации.

https://code.mythtv.org/trac/ticket/12888

https://code.mythtv.org/trac/changeset/7de03a90c1b144fc0067261af1c9cfdd8d3535 >

Сообщено в отношении FFMPEG 3.2.1 http://trac.ffmpeg.org/ticket/6192

Все еще существует в FFMPEG 4.3.2

    int new_width = width;
#if ARCH_ARM
    // The ARM build of FFMPEG has a bug that if sws_scale is
    // called with source and dest sizes the same, and
    // formats as shown below, it causes a bus error and the
    // application core dumps. To avoid this I make a -1
    // difference in the new width, causing it to bypass
    // the code optimization which is failing.
    if (pix_fmt == AV_PIX_FMT_YUV420P
      && dst_pix_fmt == AV_PIX_FMT_BGRA)
        new_width = width - 1;
#endif
    d->swsctx = sws_getCachedContext(d->swsctx, width, height, pix_fmt,
                                     new_width, height, dst_pix_fmt,
                                     SWS_FAST_BILINEAR, NULL, NULL, NULL);

ОБНОВИТЬ:

Сборка mobile-ffmpeg 4.3.2 с параметром --debug создает рабочий двоичный файл.

ОБНОВЛЕНИЕ 2:

Флаг --debug больше не работает. Должно быть, были какие-то нечистые сборки. Похоже, это связано с альфа-каналом.

Единственный не-альфа-формат RGB, поддерживаемый как Android.Bitmap.Config, так и ffmpeg, — это RGB_565. Использование 565 работает с четной шириной назначения.

in libswscale/yuv2rgb.c:

SwsFunc ff_yuv2rgb_get_ptr(SwsContext *c) {
   ...
   switch(c->dstFormat) {
   case AV_PIX_FMT_RGBA:
       return (CONFIG_SWSCALE_ALPHA & isALPHA(c->srcFormat)) ? yuva2rgb_c: yuv2rgb_c_32;
   ....
   case AV_PIX_FMT_RGB565:
       return yuv2rgb_c_16_ordered_dither;
   ...

Мой источник YUV420P и не поддерживает альфа-каналы (например, yuv A 420p). Когда мой конечный формат — RGB565, этот метод не вызывает никаких проблем.

Жаль, что я не могу создать альфа-канал для Android. Я предполагаю, что реальный ответ состоит в том, чтобы просто использовать OpenGL и использовать поверхность, которая напрямую поддерживает копирование YUV.

ОБНОВЛЕНИЕ 3

Я нашел кодовые пути в libswscale/swscale_unscaled.c и libswscale/yuv2rgb.c

Если вы масштабируете вывод, вы можете преобразовать его в формат назначения RGBA.

Если вы добавите флаг SWS_ACCURATE_RND в свой SwsContext, вы также избежите неправильного кода.

person chugadie    schedule 24.08.2020