Instrukcja fuzji delta-tabel Databricks z wykorzystaniem R

Question 1

Ja ostatnio zacząłem pracować nad bazami danych i próbował znaleźć sposób na wykonanie instrukcji merge dla delta-tabele, choć z wykorzystaniem api R (najlepiej sparklyr). Ostatecznym celem jest, aby w jakiś sposób nałożyć "zdublowaną" ograniczenia, jak opisano tutaj. Powyższa dokumentacja opisuje proces roboczy Python :

deltaTable.alias("logs").merge(
    newDedupedLogs.alias("newDedupedLogs"),
    "logs.uniqueId = newDedupedLogs.uniqueId") \
  .whenNotMatchedInsertAll() \
  .execute()

jednak zastanawiałem się, czy istnieje prosty sposób, aby to osiągnąć za pomocą R. Każda pomoc/pomysły w tej sprawie będą wysoko oceniane, ponieważ jestem nowym użytkownikiem (jak wspomniano powyżej). Z góry dziękuję!

Question 2

Oficjalnego API R dla Delta Lake nie ma, ale do tego można po prostu użyć polecenia SQL MERGE INTO (ja często robię to w Scala/Python, tylko dlatego, że jej łatwiej czytać, przynajmniej dla mnie). Musisz zarejestrować tymczasowe widok z danymi, które chcesz umieścić w tabeli docelowej, i po prostu uruchomić sqltak (wiersz podzielony jest dla czytelności):

library(SparkR)
updates_df <- ...get updates...
createOrReplaceTempView(updates, "updates")
result <- sql(
  "MERGE INTO <your_table> AS target USING updates 
   ON target.id = updates.id WHEN NOT MATCHED THEN INSERT *")

Question 3

Udostępniając tę odpowiedź, ponieważ stwierdziły, że brak wsparcia dla API R Delta Lake. Teraz istnieje nowy pakiet R, który dostarcza API R dla Delta Lake: dlt. Składnia jest bardzo podobna do składni języka Python API dla Delta Lake.

W przypadku twojego przykładu:

# Install and laod the `dlt` package
remotes::install_gitlab("zero323/dlt")
library(dlt)
...

# Use the Delta Lake R API from the dlt package
deltaTable <- dlt_for_path("<path to table>")

deltaTable %>%
  dlt_alias("logs") %>%
  dlt_merge(alias(newDedupedLogs, "newDedupedLogs"), expr("newDedupedLogs.uniqueId = logs.uniqueId")) %>%
  dlt_when_not_matched_insert_all() %>%
  dlt_execute()

Alex Ott · Answer 1 · 2021-11-23T16:56:28

Oficjalnego API R dla Delta Lake nie ma, ale do tego można po prostu użyć polecenia SQL MERGE INTO (ja często robię to w Scala/Python, tylko dlatego, że jej łatwiej czytać, przynajmniej dla mnie). Musisz zarejestrować tymczasowe widok z danymi, które chcesz umieścić w tabeli docelowej, i po prostu uruchomić sqltak (wiersz podzielony jest dla czytelności):

library(SparkR)
updates_df <- ...get updates...
createOrReplaceTempView(updates, "updates")
result <- sql(
  "MERGE INTO <your_table> AS target USING updates 
   ON target.id = updates.id WHEN NOT MATCHED THEN INSERT *")

To smutne, powołując się na brak oficjalnego wsparcia API R Delta Lake. W każdym razie, bardzo dziękuję za otrzymaną decyzję i zwrotne ; w każdym razie mogę uniknąć oglądania TempView? Przypuszczam, że nie, prawda?
Teoretycznie można nagrać go na dysk i używać, ale to byłoby gorsze, niż tymczasowe widok
Przy okazji, wygląda na to, że wydana jakaś osłona dla R, choć nie oficjalna

Bram · Answer 2 · 2021-11-27T18:23:06

Udostępniając tę odpowiedź, ponieważ stwierdziły, że brak wsparcia dla API R Delta Lake. Teraz istnieje nowy pakiet R, który dostarcza API R dla Delta Lake: dlt. Składnia jest bardzo podobna do składni języka Python API dla Delta Lake.

W przypadku twojego przykładu:

# Install and laod the `dlt` package
remotes::install_gitlab("zero323/dlt")
library(dlt)
...

# Use the Delta Lake R API from the dlt package
deltaTable <- dlt_for_path("<path to table>")

deltaTable %>%
  dlt_alias("logs") %>%
  dlt_merge(alias(newDedupedLogs, "newDedupedLogs"), expr("newDedupedLogs.uniqueId = logs.uniqueId")) %>%
  dlt_when_not_matched_insert_all() %>%
  dlt_execute()

Instrukcja fuzji delta-tabel Databricks z wykorzystaniem R

Pytanie

W innych językach

Ta strona jest w innych językach

Popularne w tej kategorii

Najczęściej zadawane pytania w tej kategorii