Zapytanie Sql do funkcji ramki danych pyspark

Question 1

Chcę odtworzyć poniższy kod, za pomocą funkcji ramki danych pyspark zamiast zapytania SQL.

spark.sql("select date from walmart_stock order by high desc limit 1").show()

Link do zestawu danych

Question 2

Oto kod, jeśli zaczniesz z powiązanego pliku CSV. Trzeba rozpoznać funkcje SQL. Zauważ, że używamy inferSchema opcja bezpośredniego analizowania liczb na podwójne i uzyskania prawidłowej kolejności (to nie będzie działać zgodnie z oczekiwaniami, z typem polecenia domyślne). Innym sposobem byłoby prowadzić kolumnę po przeczytaniu CSV.

spark.read
    .option("header", "true")
    .option("inferSchema", "true")
    .csv("walmart_stock.csv")
    .orderBy(f.col("High"), desc=True)
    .limit(1)
    .select("Date")
    .show()

co daje

+----------+
|      Date|
+----------+
|2015-11-13|
+----------+

Oli · Answer 1 · 2021-11-23T14:21:37

Oto kod, jeśli zaczniesz z powiązanego pliku CSV. Trzeba rozpoznać funkcje SQL. Zauważ, że używamy inferSchema opcja bezpośredniego analizowania liczb na podwójne i uzyskania prawidłowej kolejności (to nie będzie działać zgodnie z oczekiwaniami, z typem polecenia domyślne). Innym sposobem byłoby prowadzić kolumnę po przeczytaniu CSV.

spark.read
    .option("header", "true")
    .option("inferSchema", "true")
    .csv("walmart_stock.csv")
    .orderBy(f.col("High"), desc=True)
    .limit(1)
    .select("Date")
    .show()

co daje

+----------+
|      Date|
+----------+
|2015-11-13|
+----------+

Stworzyłem tabelę o nazwie walmart_stock i z nią pracuję. Tak, z twojego kodu dostałem odpowiedź. Dziękuję.

Zapytanie Sql do funkcji ramki danych pyspark

Pytanie

Najlepsza odpowiedź

W innych językach

Ta strona jest w innych językach

Popularne w tej kategorii

Najczęściej zadawane pytania w tej kategorii