Mam kolumnę z kilkoma długimi wierszami, i muszę policzyć w nim najczęściej używane słowa.
Potrzebuję czegoś, co działa tak https://towardsdatascience.com/very-simple-python-script-for-extracting-most-common-words-from-a-story-1e3570d0b9d0. Przynajmniej część liczenia słów...
I bardzo ważne jest, aby móc dodać do czarnej listy niektóre słowa, aby nie byli.
Spróbuj następnym proste podejście
with blacklist as (
select 'with' word union all
select 'that' union all
select 'add more as you see needed'
)
select lower(word) word, count(*) frequency
from data, unnest(regexp_extract_all(col, r'[\w]*')) word
where length(word) > 3
and word not in (select word from blacklist)
group by word
order by frequency desc