Использование '\' при чтении фрейма данных

# File location and type
file_location = "/FileStore/tables/FileName.csv"
file_type = "csv"

#CSV options
infer_schema = "true"
first_row_is_header = "true"
delimiter = ","

# The applied options are for CSV files. For other files types, these will be ignored.
df = spark.read.format(file_type) \
  .option("inferSchema", infer_schema) \
  .option("header", first_row_is_header) \
  .option("sep", delimiter) \
  .load(file_location)

display(df)

Это общий код для чтения данных из файла csv. Как в этом коде используется .option (inferSchema, infer_schema) и что будет делать в этом коде?


pyspark azure-databricks databricks apache-spark-sql aws-databricks
person Prashant Kashyap    schedule 14.07.2021    source источник

Ответы (2)


arrow_upward
1
arrow_downward

Использование обратной косой черты в конце строки считается продолжением строки, что означает, что следующая за обратной косой чертой будет считаться одной строкой с предыдущей. В вашем случае эти 5 строк считаются одной строкой.

Причина, по которой вам нужно, во-первых, все, что вы заключили в кавычки, рассматривается как строка, поскольку заголовок этих функций, inferShema и другие являются частью синтаксиса, и вам нужно будет оставить их такими, какие они есть.

Этот ответ https://stackoverflow.com/a/56933052/6633728 может вам больше помочь.

person Egide    schedule 14.07.2021

arrow_upward
0
arrow_downward

Обратная косая черта '' используется в конце строки, чтобы обозначить, что код после обратной косой черты считается находящимся в той же строке. В основном это делается в длинном коде, где код занимает одну строку.

inferSchema используется для определения типов данных столбцов в фрейме данных. Если мы сделаем inferSchema истинным, то Spark будет читать все данные в фрейме данных при загрузке данных, чтобы определить типы данных столбцов.

используется с функцией .option. Он используется для добавления различных параметров при чтении файла. С помощью функции option можно добавить множество параметров, таких как header, inferSchema, sep, schema и т. Д.

pyspark.sql.DataFrameReader.csv

Вы можете обратиться к указанной выше ссылке для получения дополнительной помощи.

person Aman Lakhani    schedule 15.07.2021