Аутентификация API предотвращения потери данных GCP: требуется ли использование учетной записи службы?

Ознакомьтесь с документацией Аутентификация в Cloud DLP API:

Вы должны пройти аутентификацию в Cloud DLP API, чтобы использовать его. Cloud DLP API может обрабатывать как ключи API, так и аутентификацию. Основное различие между этими двумя методами:

• Ключи API идентифицируют вызывающий проект - приложение или сайт, - который выполняет вызов API.
• Токены аутентификации идентифицируют пользователя - человека, который использует проект.

а также

Чтобы использовать сервисный аккаунт для аутентификации в Cloud DLP API:

Следуйте инструкциям, чтобы создать учетную запись службы. Выберите JSON в качестве типа ключа и предоставьте пользователю роль пользователя DLP (roles/dlp.user).

Как правило, вам следует выполнить следующие действия:

1. включить биллинг
2. включить DLP API

3. создайте учетную запись службы, назначьте роль службе аккаунт roles/dlp.user и загрузите key.json файл:

   $ gcloud iam service-accounts create test-dlp --description "test-cloud" --display-name "test-dlp"
   $ gcloud projects add-iam-policy-binding class-run --member serviceAccount:[email protected] --role roles/dlp.user
   $ gcloud iam service-accounts keys create key.json --iam-account [email protected]
   

4. установите переменную env:

   export GOOGLE_APPLICATION_CREDENTIALS=[PATH_TO_key.json_FILE]
   

5. запустите свой скрипт

Кроме того, ознакомьтесь с Краткое руководство: использование инструмента командной строки раздел Разрешения:

Для проверки содержимого требуется serviceusage.services.use разрешение для проекта, указанное в родительском элементе. Роли roles/editor, roles/owner и roles.dlp.user содержат необходимые разрешения, или вы можете определить свою собственную роль.

Если проблема не исчезла, попробуйте устранить неполадки, выполнив следующие действия:

1. проверьте свою активную учетную запись с помощью команды gcloud auth list
2. проверьте, включен ли DLP API gcloud services list --enabled | grep DLP
3. активируйте свою учетную запись службы DLP с помощью команды gcloud auth activate-service-account и снова запустите сценарий

и обновите свой вопрос командами и выводами. Также, пожалуйста, поясните, каким образом вы используете свою учетную запись службы DLP в своем скрипте.

Да, вы можете использовать свою собственную учетную запись пользователя (владельца) с API.

  1. gcloud auth login 

  2. gcloud auth list 
    #ACTIVE  ACCOUNT with owner role
    *       [email protected] .

  3. gcloud auth print-access-token
    #xxxxxxxxxxxxxx

  4. curl -s -H 'Content-Type: application/json'   -H 'Authorization: Bearer xxxxxxxxxxx'   'https://dlp.googleapis.com/v2/infoTypes'

  #OR

  5. ACCESS_TOKEN="$(gcloud auth application-default print-access-token)"
     curl -s -H 'Content-Type: application/json'   -H "Authorization: Bearer $ACCESS_TOKEN"   'https://dlp.googleapis.com/v2/infoTypes'
   #you need Double Quotes and not Single Quotes for -H flag

3.1.2.2 Одиночные цитаты

Заключение символов в одинарные кавычки (') сохраняет буквальное значение каждого символа в кавычках. Одиночные кавычки не могут находиться между одинарными кавычками, даже если им предшествует обратная косая черта.

3.1.2.3 Двойные кавычки

Заключение символов в двойные кавычки (") сохраняет буквальное значение всех символов в кавычках, за исключением $, , \, and, when history expansion is enabled, !. The characters $ and, сохраняют свое особое значение в двойных кавычках (см. Расширения оболочки). Обратная косая черта сохраняет свое особое значение только тогда, когда за ней следует одна следующих символов: $, `,", \ или новая строка. В двойных кавычках удаляются обратные косые черты, за которыми следует один из этих символов. Обратные косые черты перед символами без специального значения остаются неизменными. Двойные кавычки можно заключить в двойные кавычки, поставив перед ними обратную косую черту. Если этот параметр включен, расширение истории будет выполняться, если! появление в двойных кавычках экранируется с помощью обратной косой черты. Обратная косая черта перед! не удаляется.

Специальные параметры * и @ в двойных кавычках имеют особое значение (см. Расширение параметров оболочки).

Выход:

{
  "infoTypes": [
    {
      "name": "AMERICAN_BANKERS_CUSIP_ID",
      "displayName": "American Bankers CUSIP identifier",
      "supportedBy": [
        "INSPECT"
      ],
      "description": "An American Bankers' Committee on Uniform Security Identification Procedures (CUSIP) number is a 9-character alphanumeric code that identifies a North American financial security."
    },
    {
      "name": "AUSTRALIA_DRIVERS_LICENSE_NUMBER",
      "displayName": "Australia driver's license number",
      "supportedBy": [
        "INSPECT"
      ],
      "description": "An Australian driver's license number."
    },
    {
      "name": "AUSTRALIA_MEDICARE_NUMBER",
      "displayName": "Australia medicare number",
      "supportedBy": [
        "INSPECT"

..................

Следует отметить, что DLP немного отличается. Фактически в каждом запросе задействованы две учетные записи службы. Тот, который вы используете для вызова API, но сама служба использует учетную запись службы dlp для обращения и вызова других служб для чтения из хранилища.

Когда вы включите dlp, вы увидите, что эта учетная запись создается автоматически. Похоже, это ... service- [PROJECT_NUMBER] @ dlp-api.iam.gserviceaccount.com и обсуждается здесь https://cloud.google.com/dlp/docs/iam-permissions#service_account.

Обычно я видел, что группа безопасности позволяет DLP в одном проекте сканировать всю организацию. Они сделают это, предоставив service- [PROJECT_NUMBER] @ dlp-api.iam.gserviceaccount.com в проекте, который они запускают, разрешение на доступ ко всем другим проектам в организации. Это позволит ему считывать GCS / BQ по всей компании.

Если вы нашли этот пост, потому что хотите вызвать DLP API через Java-клиент, используя только API-ключ, просмотрите эту суть того, как я заставил его работать (в Scala). В основном мне пришлось передать заголовок в себе и прямо сказать, что другого механизма аутентификации не было.

https://gist.github.com/kylejmcintyre/b7ff56cf08addb87eb53cf