Как получить доступ к старой транзакции набора данных в Code Workbook?

В Contour вы можете получить доступ к старым транзакциям, нажав кнопку версии вверху.

Как это сделать в Code Workbook?


palantir-foundry foundry-code-workbooks
person Andrew St P    schedule 24.09.2020    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Обновление. Описанный ниже метод больше не поддерживается настройками безопасности большинства сред Foundry. Вместо этого мы рекомендуем использовать Contour для рабочих процессов, которые включают ссылки на старые транзакции наборов данных.

Старый ответ:

Вы можете создать шаблон для transaction_id, branch и dataset следующим образом:

def time_machine():

    from pyspark.sql import SQLContext
    sql_context = SQLContext(spark.sparkContext)

    transaction_id = '{{{transaction_id}}}'
    branch = '{{{branch}}}'
    path = '{{{path}}}'
    return sql_context.sql("SELECT * FROM `%s:%s@%s`.`%s`" % (transaction_id, transaction_id, branch, path))

В Code Workbook вы создадите новое преобразование и начнете с шаблона, чтобы импортировать нужную транзакцию.

Однако не забудьте проверить свои политики хранения! Вы не сможете извлечь старые транзакции, если ваши политики хранения уже удалили их.

person Adil B    schedule 24.09.2020