Публикации по теме 'amazon-s3'
Инициировать передачу данных между AWS S3 и облачным хранилищем Google (в python)
Получайте оперативные данные из удаленной корзины Amazon S3
Алоха!
У вас есть среда Google Compute Engine, но появляется новое требование:
Файлы отправляются в ведро Amazon S3.
Все, что вам нужно сделать, это восстановить эти данные, отправить их в свой проект GCP и обработать дома.
Это то, что мы делаем здесь.
Архитектура
План
Настройка S3 Настройка GCP (облачное хранилище + IAM) Лямбда-настройка
Настройка S3
Перейдите в консоль ведра:..
Загрузите данные из S3 в Snowflake и используйте модель TensorFlow
Узнайте, как загружать данные из S3 в Snowflake и обслуживать модель TensorFlow в сборщике данных StreamSets, механизме быстрого приема данных , конвейере данных для оценки данных, поступающих из S3 в Snowflake.
Данные и аналитика помогают нам становиться быстрее и умнее, чтобы оставаться здоровыми. Открытые наборы данных и аналитика в облачном масштабе являются ключом к раскрытию точности, необходимой для реального воздействия в области медицины. Облака данных , такие как Snowflake,..
Вопросы по теме 'amazon-s3'
Можно ли использовать Amazon S3 через Flex?
Из-за отсутствия clientaccesspolicy.xml возникают проблемы с использованием Amazon S3 через Flex. Есть ли обходные пути?
Изменить: Оба ответа ниже хороши и работают, я проголосовал за оба (я не собираюсь назначать ответ на вопрос, поскольку они...
2968 просмотров
schedule
16.11.2021
Как создать собственный том OpenSolaris на EC2
Я использую OpenSolaris 2008.11 на EC2. Я хочу создать собственный пакет. в убунту
sudo ec2-bundle-vol -d /mnt -k $EC2_PRIVATE_KEY -c $EC2_CERT --fstab /etc/fstab --user $AWS_ACCUNT_ID -r i386
но OpenSolaris не имеет / etc / fstab
Вы...
77 просмотров
schedule
20.09.2021
Загрузить из Flex / flash player в браузере на S3
Я весь день возился с этим и собираюсь выброситься из окна. Ладно, не совсем.
Я хочу загрузить прямо в корзину S3. Я знаю, что это можно сделать в AIR, но может ли кто-нибудь посоветовать мне, действительно ли это возможно во флексе в браузере,...
922 просмотров
schedule
16.11.2021
Amazon S3 Изменить имя загрузки файла
У меня есть файлы, хранящиеся на S3 с идентификатором GUID в качестве имени ключа.
Я использую предварительно подписанный URL-адрес для загрузки в соответствии с S3 REST API
Я сохраняю исходное имя файла в моей базе данных. Когда пользователь...
45776 просмотров
schedule
02.11.2021
Рисование с S3 через мою фотомодель запутывается
Я только что перенес фотографии своего сервера на S3. Кажется, все работает без проблем, кроме одной маленькой загвоздки.
Если пользователь выбирает фотографию со своего существующего носителя, сервер возвращает ошибку 500. Я предполагаю, что это...
182 просмотров
schedule
14.11.2021
Определить, существует ли объект в корзине S3 на основе подстановочного знака
Может ли кто-нибудь показать мне, как определить, существует ли определенный файл / объект в ведре S3, и отобразить сообщение, если он существует или не существует.
В основном я хочу:
1) Проверьте ведро в моей учетной записи S3, например...
48136 просмотров
schedule
20.09.2021
NameError: неинициализированная константа Test :: Unit :: AssertionFailedError при обновлении до rails3
Я пытаюсь обновить свое приложение rails до Rails3.
Когда я запускаю функциональные тесты, я получаю много NameError: uninitialized constant Test::Unit::AssertionFailedError ошибок. Но юнит-тесты и сам сайт вроде работают нормально.
След...
3094 просмотров
schedule
13.10.2021
Скачивание видео после получения оплаты
У меня есть веб-страница, на которой я хотел бы добавить новую функцию. клиенты будут платить за скачивание некоторых видеофайлов.
Видео файлы будут храниться в Amazon S3 (около 150 ГБ в год). Когда пользователь платит, например, через PayPal,...
475 просмотров
schedule
27.09.2021
Как рассчитываются цены на хранилище S3 (Amazon Simple Storage System)?
Я не совсем уверен, что это правильный сайт обмена стеками для ответа на этот вопрос, но я не нашел сайта, который подошел бы лучше.
Я планирую использовать S3 для своего следующего проекта, но я не уверен, как на самом деле выставляются счета за...
4421 просмотров
schedule
02.12.2021
Использование rake db: seed при загрузке файлов
У меня есть приложение, в котором используется Paperclip, и я также использую rake db:seed для создания некоторых демонстрационных учетных записей, которые можно использовать для привлечения новых пользователей.
Часть информации, которую должны...
4691 просмотров
schedule
14.09.2021
Создание папки через s3cmd (Amazon S3)
Я использую s3cmd для загрузки файлов на свой сервер S3. Моя проблема в том, что когда каталог на сервере не существует, загрузка не выполняется. Как я могу сказать s3cmd создать папку, если она не существует? Я использую PHP.
31809 просмотров
schedule
06.11.2021
Лучший способ хранить тысячи маленьких изображений (‹5k) в MongoDb или S3?
Я планирую хранить тысячи (надеюсь, когда-нибудь даже миллионы) изображений профилей из facebook и twitter. Их обычный размер меньше 5к.
Как лучше всего сделать это в MongoDB или Amazon S3 и избежать фрагментации диска или подобных проблем?...
514 просмотров
schedule
06.11.2021
Каковы действительные имена ключей S3, к которым можно получить доступ через API-интерфейс S3 rest?
Из документации AWS я понимаю, что:
Имена ключей S3 могут быть любым именем UNICODE ‹1024 символа
При использовании GET OBJ мне нужно URL-кодировать имя ключа для доступа к нему.
Однако эти правила кажутся слишком снисходительными....
65055 просмотров
schedule
29.10.2021
Как ограничить папки для пользователя
Спасибо за предыдущие ответы.
Можно ли ограничить пользователя просмотром определенной папки в корзине. Давайте возьмем пример, у меня есть корзина, и она содержит 2 папки, у пользователя A есть только привилегия для просмотра первой папки...
2105 просмотров
schedule
23.11.2021
Невозможно передать файл из Amazon EC2 в S3
Я пытаюсь перенести файлы из EC2 (запущенная ubuntu) в S3 с помощью командной строки s3cmd .. однако появляется следующее предупреждение ([Errno 32] Broken pipe)
Размер файла 50 Мб ..
Что я делаю не так? Есть ли другой способ добиться того же?
515 просмотров
schedule
05.11.2021
обновление заголовков каждого файла в ведре Amazon s3
У меня есть большое количество файлов с неправильными типами mimetypes в корзине, а также без установленного срока действия.
Как я могу их все изменить?
Я использую Knox:
https://github.com/LearnBoost/knox
Я пытаюсь повторить это. Как...
1866 просмотров
schedule
10.11.2021
Получил TypeError при удалении ведер AWS / S3
Я не уверен, почему я получаю ошибку TypeError при удалении корзины. Ниже приведена команда, которую я ввел в консоль Ruby:
AWS :: S3 :: Bucket.delete ('my_bucket',: force => true)
то я получил эту кучу ошибок:
TypeError: can't...
192 просмотров
schedule
03.11.2021
Список всех файлов в каталоге S3 с помощью Zend Framework
Как я могу перечислить все файлы в каталоге Amazon S3 корзины в PHP (и, возможно, с помощью помощника из Zend Framework)?
2586 просмотров
schedule
06.10.2021
Будет ли Amazon S3 работать как хранилище для потоковой передачи данных датчиков с миллионов конечных точек?
Я ищу варианты надежного (и быстрого) хранения небольших объемов данных датчиков, которые будут поступать с (здесь оптимистично) миллионов конечных точек. Масштаб, о котором я говорю, составляет 1 миллион конечных точек, каждая из которых отправляет...
1685 просмотров
schedule
12.11.2021
как получить время последнего изменения / загрузки файла на amazon s3?
У меня много файлов, распределенных на сервере Amazon s3 и моем локальном сервере. Теперь я хочу очистить локальный сервер и переместить файлы на сервер s3. Я мог бы сделать это Amazon S3 PHP Class. .
Проблема в том, что могут быть файлы с...
3377 просмотров
schedule
21.09.2021
