Управление высотой и шириной CVPixelBufferRef

Я использую функцию библиотеки GPUImage для управления высотой и шириной CVPixelbuffer. Я записываю видео в портретном режиме, и когда пользователь поворачивает устройство, мой экран настраивается на ландшафтный режим. Я хочу, чтобы альбомная рамка соответствовала размеру экрана.

Например: - Я запускаю видео в портретном режиме 320x568, и когда я поворачиваю свое устройство в альбомную ориентацию, мой кадр имеет размер 568x320, который я хочу разместить в 320x568. Чтобы настроить эту штуку, я подумал манипулировать CVPixelBuffer. Но это съедает много памяти и в конце мое приложение вылетает.

 - (CVPixelBufferRef) GPUImageCreateResizedSampleBufferWithBuffer:(CVPixelBufferRef)cameraFrame withBuffer:(CGSize)finalSize withSampleBuffer:(CMSampleBufferRef)sampleBuffer
{
   CVPixelBufferRef pixel_buffer = NULL;

// CVPixelBufferCreateWithPlanarBytes for YUV input
@autoreleasepool {

    CGSize originalSize = CGSizeMake(CVPixelBufferGetWidth(cameraFrame), CVPixelBufferGetHeight(cameraFrame));

    CVPixelBufferLockBaseAddress(cameraFrame, 0);
    GLubyte *sourceImageBytes = (GLubyte *)CVPixelBufferGetBaseAddress(cameraFrame);
    CGDataProviderRef dataProvider = CGDataProviderCreateWithData(NULL, sourceImageBytes, CVPixelBufferGetBytesPerRow(cameraFrame) * originalSize.height, NULL);
    CGColorSpaceRef genericRGBColorspace = CGColorSpaceCreateDeviceRGB();
    CGImageRef cgImageFromBytes = CGImageCreate((int)originalSize.width, (int)originalSize.height, 8, 32, CVPixelBufferGetBytesPerRow(cameraFrame), genericRGBColorspace, kCGBitmapByteOrder32Little | kCGImageAlphaPremultipliedFirst, dataProvider, NULL, NO, kCGRenderingIntentDefault);

    GLubyte *imageData = (GLubyte *) calloc(1, ((int)finalSize.width * (int)finalSize.height * 4));


    CGContextRef imageContext = CGBitmapContextCreate(imageData, (int)finalSize.width, (int)finalSize.height, 8, (int)finalSize.width * 4, genericRGBColorspace,  kCGBitmapByteOrder32Little | kCGImageAlphaPremultipliedFirst);

    CGRect scaledRect = AVMakeRectWithAspectRatioInsideRect(originalSize, CGRectMake(0, 0, finalSize.width, finalSize.height));

    CGContextDrawImage(imageContext, scaledRect, cgImageFromBytes);
    CGImageRelease(cgImageFromBytes);
    CGContextRelease(imageContext);
    CGColorSpaceRelease(genericRGBColorspace);
    CGDataProviderRelease(dataProvider);

    CVPixelBufferCreateWithBytes(kCFAllocatorDefault, finalSize.width, finalSize.height, kCVPixelFormatType_32BGRA, imageData, finalSize.width * 4, stillImageDataReleaseCallback, NULL, NULL, &pixel_buffer);
    CMVideoFormatDescriptionRef videoInfo = NULL;
    CMVideoFormatDescriptionCreateForImageBuffer(NULL, pixel_buffer, &videoInfo);

    CMTime frameTime = CMTimeMake(1, 30);
    CMSampleTimingInfo timing = {frameTime, frameTime, kCMTimeInvalid};

    CMSampleBufferCreateForImageBuffer(kCFAllocatorDefault, pixel_buffer, YES, NULL, NULL, videoInfo, &timing, &sampleBuffer);
    CVPixelBufferUnlockBaseAddress(cameraFrame, 0);
    CFRelease(videoInfo);
    //   CVPixelBufferRelease(pixel_buffer);

}
return pixel_buffer;

}

ios uiimage cvpixelbuffer gpuimage
person Leena    schedule 02.01.2017    source источник
comment
Пробовали ли вы использовать инструменты для проверки и обнаружения утечек памяти? Указывают ли результаты именно на этот метод?   -  person dlbuckley    schedule 11.01.2017
comment
@dlbuckley Я пробовал использовать инструменты и пытался освободить объект imageData, но приложение начало падать при освобождении imageData.   -  person Leena    schedule 12.01.2017
comment
Где вы пытались выпустить imageData?   -  person dlbuckley    schedule 12.01.2017
comment
Пытался освободить imageData, но когда я добавляю кадр в AVAssetWriterInputPixelBufferAdaptor, добавляется черный кадр.   -  person Leena    schedule 16.01.2017
comment
@dlbuckley Я решил свою проблему, выпустив объект imageData. Проблема заключалась в том, что я выполняю прямую трансляцию в своем приложении, поэтому один объект CVPixelbufferRef использовался для создания видео в каталоге документов, а другой использовался для прямой трансляции. При выпуске imageData произошел сбой где-то в библиотеке вещания. Поэтому я создал два разных объекта для CVPixelBufferRef, и это решило мою проблему. Я знаю, что не описал свою проблему должным образом: P   -  person Leena    schedule 28.01.2017
comment
нет, это имеет смысл. Спасибо за публикацию решения вашей проблемы! Извините, я не мог больше помочь.   -  person dlbuckley    schedule 30.01.2017

Ответы (1)


arrow_upward
0
arrow_downward

CG* — CoreGraphics использует процессор и слишком медленный для видео в реальном времени, используйте CV* и GPU

    // - (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection
    CVPixelBufferLockBaseAddress(pixelBuffer, kCVPixelBufferLock_ReadOnly);

    CIImage *baseImg = [CIImage imageWithCVPixelBuffer:pixelBuffer];
    CIImage *resultImg = [baseImg imageByCroppingToRect:outputFrameCropRect];
    resultImg = [resultImg imageByApplyingTransform:outputFrameTransform];

    // created once
    // glCtx = [[EAGLContext alloc] initWithAPI:kEAGLRenderingAPIOpenGLES2];
    // ciContext = [CIContext contextWithEAGLContext:glCtx options:@{kCIContextWorkingColorSpace:[NSNull null]}];
    // ciContextColorSpace = CGColorSpaceCreateDeviceRGB();
    // CVReturn res = CVPixelBufferPoolCreatePixelBuffer(kCFAllocatorDefault, VTCompressionSessionGetPixelBufferPool(compressionSession), &finishPixelBuffer);

    [ciContext render:resultImg toCVPixelBuffer:finishPixelBuffer bounds:resultImg.extent colorSpace:ciContextColorSpace];

    CVPixelBufferUnlockBaseAddress(pixelBuffer, kCVPixelBufferLock_ReadOnly);
person Roman Solodyashkin    schedule 13.02.2017