Как читать строковое содержимое в CSV со ссылками gs: // в файле в облачном хранилище Google

Я использовал модель классификации текста AutoML на естественном языке на облачной платформе Google. Данные, которые я использовал для обучения модели, можно экспортировать в файл csv в корзине. В файле 3 столбца (1. train / validation / test, 2. gs: // ссылка на фактическое содержимое, 3. результат прогноза / метка), как в приведенном ниже примере.

TRAIN gs: // [bucket_name] / [folder] /uploads/content/RrpGCDwgse0.txt Веб-сайт

Мой вопрос в том, как получить фактическое содержимое из ссылки gs: //, чтобы я мог просматривать каждую строку, чтобы определить, верны ли предсказанные метки или нет. Вывод должен быть в файле csv со строковым содержимым, а не ссылкой gs: //.


google-cloud-platform csv google-cloud-storage automl google-cloud-automl
person Daisy Yu    schedule 04.06.2019    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Это ведро могло быть создано кем-то до использования AutoML для хранения документов, используемых для обучения вашей модели. Поэтому, если вам нужен доступ к объектам в ведре, кто-то с правильными разрешениями должен будет предоставить вам доступ к ведру или отдельным объектам в ведре. Ссылка gs: // - это сам объект.

Для этого доступно несколько вариантов:

  1. разрешения Cloud Identity and Access Management (Cloud IAM) для предоставления доступа к ведра и массовый доступ к объектам в ведре.
  2. Списки управления доступом (ACL) для предоставления пользователям доступа для чтения или записи. для отдельных ведер или предметов
  3. Подписанные URL-адреса (проверка подлинности строки запроса) для предоставления ограниченных по времени доступ для чтения или записи к объекту через созданный вами URL
person Corinne White    schedule 05.06.2019
comment
Я владелец и имею полный доступ. Моя цель - заменить ссылку gs: // на строковое содержимое в моем выходном файле cvs. - person Daisy Yu; 05.06.2019
comment
Вы можете настроить облачную функцию, которая запускается при создании нового файла. и заставить его манипулировать файлом CSV с помощью одной из клиентских библиотек хранилища, заменив ссылку gs: // с содержимым файла, а затем снова записать его в хранилище - person Corinne White; 06.06.2019
comment
Спасибо, Корин, но мне не удалось найти библиотеку, которая может заменить ссылку gs: // строковым содержимым ... - person Daisy Yu; 06.06.2019
comment
Облачная функция потребует некоторого кодирования, и метод будет зависеть от того, с каким языком программирования вы знакомы. Могу я просто подтвердить кое-что, поскольку я не очень хорошо знаком с AutoML, разве пользовательский интерфейс не обеспечивает нужную вам функциональность? Насколько я понимаю, вы можете увидеть метки, нанесенные на тестовые данные в самой консоли. - person Corinne White; 07.06.2019
comment
Нет, пользовательский интерфейс не предоставляет нужных мне функций. Решение, которое я наконец получил, заключалось в том, чтобы преобразовать файл json в формат таблицы с помощью python, что было довольно сложно, но оно сработало. Спасибо, Корин. - person Daisy Yu; 17.06.2019