Ошибка распознавания лиц в ML Kit iOS

Я пытался использовать библиотеку iOS для распознавания лиц Google ML но есть проблема с тем, что он не работает с передней камерой, он может распознавать лица только тогда, когда я использую заднюю камеру на своем телефоне. Я распечатал ориентацию, и все совпадает между лицевой и обратной стороной. Кажется, он работает как с передней, так и с задней панелью на моем iPhone X, но когда я тестирую его на iPhone 11 и iPhone X max, он работает только с задней камерой. Я не уверен, что вызывает это несоответствие. Код, который я использую, приведен ниже. Обратите внимание, что все изображения, переданные в функцию photoVerification, сначала проходят через функцию fixedOrientation для обеспечения согласованности:

 func photoVerification(image: UIImage?) {
    guard let imageFace = image else { return }
    //Enhanced Face Detection
    let options = FaceDetectorOptions()
    options.performanceMode = .accurate
    //Initialize face detector with given options
    let faceDetector = FaceDetector.faceDetector(options: options)
    // Initialize a VisionImage object with the given UIImage.
    let visionImage = VisionImage(image: imageFace)
    visionImage.orientation = imageFace.imageOrientation
    print("$$The Images Orientation is: ",imageFace.imageOrientation.rawValue)
    faceDetector.process(visionImage) { faces, error in
        guard error == nil, let faces = faces, !faces.isEmpty else {
          // [START_EXCLUDE]
          let errorString = error?.localizedDescription ?? "NO Results Possible"
            print("Error: ",errorString)
          //No face detected provide error on image
          print("No face detected!")
          self.userVerified = false
          self.addVerifiedTag(isVerified: false)
          // [END_EXCLUDE]
          return
        }

        // Faces detected
        // [START_EXCLUDE]
        //Face Has been detected Offer Verified Tag to user
        print("Face detected!")
        self.userVerified = true
        self.addVerifiedTag(isVerified: true)
    }
}


func fixedOrientation(image:UIImage) -> UIImage?{
    guard image.imageOrientation != .up else{
        //Orientation is correct
        return image
    }
    guard let cgImage = image.cgImage else{
        //CGimage not available
        return nil
    }
    guard let colorSpace = cgImage.colorSpace, let ctx = CGContext(data: nil, width: Int(image.size.width), height: Int(image.size.height), bitsPerComponent: cgImage.bitsPerComponent, bytesPerRow: 0, space: colorSpace, bitmapInfo: CGImageAlphaInfo.premultipliedLast.rawValue) else{
        return nil
    }
    var  transform:CGAffineTransform = CGAffineTransform.identity
    
    switch image.imageOrientation {
    case .down, .downMirrored:
        transform = transform.translatedBy(x: image.size.width, y: image.size.height)
        transform = transform.rotated(by: CGFloat.pi)
    case .left, .leftMirrored:
        transform = transform.translatedBy(x: image.size.width, y: 0)
        transform = transform.rotated(by: CGFloat.pi / 2.0)
    case .right, .rightMirrored:
        transform = transform.translatedBy(x: 0, y: image.size.height)
        transform = transform.rotated(by: CGFloat.pi / -2.0)
    case .up, .upMirrored:
        break
    @unknown default:
        break
    }

    // Flip image one more time if needed to, this is to prevent flipped image
    switch image.imageOrientation {
    case .upMirrored, .downMirrored:
        transform = transform.translatedBy(x: image.size.width, y: 0)
        transform = transform.scaledBy(x: -1, y: 1)
    case .leftMirrored, .rightMirrored:
        transform = transform.translatedBy(x: image.size.height, y: 0)
        transform = transform.scaledBy(x: -1, y: 1)
    case .up, .down, .left, .right:
        break
    @unknown default:
        break
    }

    ctx.concatenate(transform)

    switch image.imageOrientation {
    case .left, .leftMirrored, .right, .rightMirrored:
        ctx.draw(cgImage, in: CGRect(x: 0, y: 0, width: image.size.height, height: image.size.width))
    default:
        ctx.draw(cgImage, in: CGRect(x: 0, y: 0, width: image.size.width, height: image.size.height))
        break
    }

    guard let newCGImage = ctx.makeImage() else { return nil }
    return UIImage.init(cgImage: newCGImage, scale: 1, orientation: .up)
}

person Wana_B3_Nerd    schedule 26.09.2020    source источник


Ответы (1)


Пакет Google ML Kit Face Detection SDK в вашем сообщении работает для обоих передняя и задняя камеры на iPhone 11 (моя работает под управлением iOS 13.4, а я использую Xcode 11.6). Вы можете ознакомиться с образцами приложений iOS Quickstart (как в Swift, так и в Objective-C), которые демонстрируют, как можно использовать как переднюю, так и заднюю камеры для съемки фотографий (или предварительного просмотра видео в реальном времени) для обнаружения лиц (и других функций):

https://github.com/googlesamples/mlkit/tree/master/ios/quickstarts/vision

person Dong Chen    schedule 08.10.2020