Как с помощью Google Cloud Vision API подтвердить, что изображение (содержащее рукописный и печатный текст) содержит рукописный текст?

Я использую функцию Cloud Vision API - DOCUMENT_TEXT_DETECTION для обнаружения рукописного текста на изображении. Хотя он извлекает для меня рукописные данные, но когда дело доходит до изображения как с напечатанным, так и с рукописным текстом, он не отвечает идентификатором, который говорит, что этот бит написан от руки, а этот бит напечатан. Проще говоря, я хочу подтвердить, есть ли на изображении рукописный текст или нет. Примечание. Изображение может содержать только рукописный текст или комбинацию печатного и рукописного текста.

Если кто-то может подробно описать, какие все дополнительные атрибуты мне нужно передать в api облачного видения для достижения результата, были бы признательны? Или есть способ попросить Cloud Vision API отметить, содержит ли мое изображение рукописные данные.

Образец кода

public class Detect {
        public static void main(String args[]) {
        String filePath = "C:\\Development_Avecto\\images.jpg";
        try {
            detectDocumentText(filePath, System.out);
        } catch (IOException e) {
            e.printStackTrace();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    public static void detectDocumentText(String filePath, PrintStream out) throws Exception, IOException {
        List<AnnotateImageRequest> requests = new ArrayList<>();
        ByteString imgBytes = ByteString.readFrom(new FileInputStream(filePath));
        Image img = Image.newBuilder().setContent(imgBytes).build();
        Feature feat = Feature.newBuilder().setType(Type.DOCUMENT_TEXT_DETECTION).build();
        AnnotateImageRequest request = AnnotateImageRequest.newBuilder().addFeatures(feat).setImage(img).build();
        requests.add(request);

        try (ImageAnnotatorClient client = ImageAnnotatorClient.create()) {
            BatchAnnotateImagesResponse response = client.batchAnnotateImages(requests);
            List<AnnotateImageResponse> responses = response.getResponsesList();
            client.close();

            for (AnnotateImageResponse res : responses) {
                if (res.hasError()) {
                    out.printf("Error: %s\n", res.getError().getMessage());
                    return;
                }

                TextAnnotation annotation = res.getFullTextAnnotation();
                for (Page page : annotation.getPagesList()) {
                    String pageText = "";
                    for (Block block : page.getBlocksList()) {
                        String blockText = "";
                        for (Paragraph para : block.getParagraphsList()) {
                            String paraText = "";
                            for (Word word : para.getWordsList()) {
                                String wordText = "";
                                for (Symbol symbol : word.getSymbolsList()) {
                                    wordText = wordText + symbol.getText();
                                    out.format("Symbol text: %s (confidence: %f)\n",
                                            symbol.getText(),symbol.getConfidence());
                                }
                                out.format("Word text: %s (confidence: %f)\n\n",wordText, word.getConfidence());
                                paraText = String.format("%s %s", paraText,wordText);
                            }
                            // Output Example using Paragraph:
                            out.println("\nParagraph: \n" + paraText);
                            out.format("Paragraph Confidence: %f\n",para.getConfidence());
                            blockText = blockText + paraText;
                        }
                        pageText = pageText + blockText;
                    }
                }
                out.println("\nComplete annotation:");
                out.println(annotation.getText());
            }
        }
    }

}

Изображение -  введите здесь описание изображения


person Pradipta Datta    schedule 12.10.2019    source источник


Ответы (1)


Это может быть полезно, это рабочий образец.

    public async Task<string>  GetText(string imgPath,string language,string type)
    {
        TextResult = JsonResult = "";
        var credential = CreateCredential();
        var service = CreateService(credential);
        service.HttpClient.Timeout = new TimeSpan(1,1,1);
        byte[] file = File.ReadAllBytes(imgPath);

        BatchAnnotateImagesRequest batchRequest = new BatchAnnotateImagesRequest();
        batchRequest.Requests= new List<AnnotateImageRequest>();
        batchRequest.Requests.Add(new AnnotateImageRequest()
        {
            Features = new List<Feature>() { new Feature() {Type = type, MaxResults = 
      1 },  },
            ImageContext = new ImageContext() { LanguageHints = new List<string>() { 
      language } },
            Image = new Image() { Content = Convert.ToBase64String(file) }
        });            

        var annotate =  service.Images.Annotate(batchRequest);
        BatchAnnotateImagesResponse batchAnnotateImagesResponse = annotate.Execute();            
        if (batchAnnotateImagesResponse.Responses.Any())
        {
            AnnotateImageResponse annotateImageResponse = 
      batchAnnotateImagesResponse.Responses[0];
            if (annotateImageResponse.Error != null)
            {
                if (annotateImageResponse.Error.Message != null)
                    Error = annotateImageResponse.Error.Message;
            }
            else 
            {
                switch (type)
                {
                    case "TEXT_DETECTION":
                        if (annotateImageResponse.TextAnnotations != null && 
        annotateImageResponse.TextAnnotations.Any())
                            TextResult = 
          annotateImageResponse.TextAnnotations[0].Description.Replace("\n", "\r\n");
                        break;
                    case "DOCUMENT_TEXT_DETECTION":
                        if (annotateImageResponse.TextAnnotations != null && 
       annotateImageResponse.TextAnnotations.Any())
                            TextResult = 
       annotateImageResponse.TextAnnotations[0].Description.Replace("\n", "\r\n");
                        break;                            
                    case "FACE_DETECTION":
                        if (annotateImageResponse.FaceAnnotations != null && 
           annotateImageResponse.FaceAnnotations.Any())
                            TextResult = 
             JsonConvert.SerializeObject(annotateImageResponse.FaceAnnotations[0]);                            
                        break;
                    case "LOGO_DETECTION":
                        if (annotateImageResponse.LogoAnnotations != null && 
        annotateImageResponse.LogoAnnotations.Any())
                            TextResult = 
       JsonConvert.SerializeObject(annotateImageResponse.LogoAnnotations[0]);
                        break;
                    case "LABEL_DETECTION":
                        if (annotateImageResponse.LabelAnnotations != null && 
      annotateImageResponse.LabelAnnotations.Any())
                            TextResult = 
      JsonConvert.SerializeObject(annotateImageResponse.LabelAnnotations[0]);
                        break;
                    case "LANDMARK_DETECTION":
                        if (annotateImageResponse.LandmarkAnnotations != null && 
       annotateImageResponse.LandmarkAnnotations.Any())
                            TextResult = 
          JsonConvert.SerializeObject(annotateImageResponse.LandmarkAnnotations[0]);
                        break;
                    case "SAFE_SEARCH_DETECTION":
                        if (annotateImageResponse.SafeSearchAnnotation != null)
                            TextResult = 
         JsonConvert.SerializeObject(annotateImageResponse.SafeSearchAnnotation);
                        break;
                    case "IMAGE_PROPERTIES":
                        if (annotateImageResponse.ImagePropertiesAnnotation != null)
                            TextResult = 
          
        JsonConvert.SerializeObject(annotateImageResponse.ImagePropertiesAnnotation);
                        break;

                }
                
                
            }
        }

        return TextResult;
        
    }
person ZKS    schedule 26.06.2020