Problem, gdy próbuje odczytać plik tekstowy w bazach danych z wykorzystaniem API plików lokalnych, a nie API Spark

Question 1

Staram się czytać mały txt-plik, który jest dodawany w postaci tabeli w bazie danych domyślnie w Databricks. Podczas próby odczytu pliku przez lokalny file API dostaję FileNotFoundErrorale mogę przeczytać ten sam plik, co i Spark RDD, za pomocą SparkContext.

Proszę, znajdź kod poniżej:

with open("/FileStore/tables/boringwords.txt", "r") as f_read:
  for line in f_read:
    print(line)

To daje mi błąd:

FileNotFoundError                         Traceback (most recent call last)
<command-2618449717515592> in <module>
----> 1 with open("dbfs:/FileStore/tables/boringwords.txt", "r") as f_read:
      2   for line in f_read:
      3     print(line)

FileNotFoundError: [Errno 2] No such file or directory: 'dbfs:/FileStore/tables/boringwords.txt'

Gdzie jak nie mam problemów z czytania pliku za pomocą SparkContext:

boring_words = sc.textFile("/FileStore/tables/boringwords.txt")
set(i.strip() for i in boring_words.collect())

I, zgodnie z oczekiwaniami, otrzymuję wynik powyższego bloku kodu:

Out[4]: {'mad',
 'mobile',
 'filename',
 'circle',
 'cookies',
 'immigration',
 'anticipated',
 'editorials',
 'review'}

Ja także uwagę na dokumentację DBFS tutaj, aby zrozumieć ograniczenia lokalnego plików API, ale nie miał pojęcia o tym problemie. Każda pomoc będzie bardzo wdzięczna. Dziękuję!

Question 2

Problem w tym, że używasz open funkcja, która działa tylko z plikami lokalnymi i nic nie wie o DBFS lub innych systemach plików. Aby to zadziałało, musisz użyć API lokalnych plików DBFS i dodać /dbfs prefiks ścieżki do pliku: /dbfs/FileStore/....:

with open("/dbfs/FileStore/tables/boringwords.txt", "r") as f_read:
  for line in f_read:
    print(line)

Question 3

Alternatywnie można po prostu skorzystać z wbudowanego metoda csv:

df = spark.read.csv("dbfs:/FileStore/tables/boringwords.txt")

Question 4

Alternatywnie możemy użyć dbutils

files = dbutils.fs.ls('/FileStore/tables/')
li = []
for fi in files: 
  print(fi.path)

Przykład

Alex Ott · Answer 1 · 2021-11-24T07:56:14

Problem w tym, że używasz open funkcja, która działa tylko z plikami lokalnymi i nic nie wie o DBFS lub innych systemach plików. Aby to zadziałało, musisz użyć API lokalnych plików DBFS i dodać /dbfs prefiks ścieżki do pliku: /dbfs/FileStore/....:

with open("/dbfs/FileStore/tables/boringwords.txt", "r") as f_read:
  for line in f_read:
    print(line)

Luiz Viola · Answer 2 · 2021-11-24T08:51:27

Alternatywnie można po prostu skorzystać z wbudowanego metoda csv:

df = spark.read.csv("dbfs:/FileStore/tables/boringwords.txt")

Karthikeyan Rasipalay Durairaj · Answer 3 · 2021-11-24T18:26:17

Alternatywnie możemy użyć dbutils

files = dbutils.fs.ls('/FileStore/tables/')
li = []
for fi in files: 
  print(fi.path)

Przykład

Problem, gdy próbuje odczytać plik tekstowy w bazach danych z wykorzystaniem API plików lokalnych, a nie API Spark

Pytanie

W innych językach

Ta strona jest w innych językach

Popularne w tej kategorii

Najczęściej zadawane pytania w tej kategorii