Mam plik csv z około 4 milionów rekordów o długości lat, i mam 400 takich plików. Chcę uzyskać nazwy stanów dla wszystkich tych danych, abym mógł dodać je do plików o długości lat. Używam pythona i próbował użyć Nominatim, ale do obsługi tylko jednego pliku trwa wiele godzin. Czy istnieje jakiś szybki sposób wykonać zadanie za pomocą dowolnego cyklu. Uwaga - Długie danych, głównie z USA. I wszystkie 400 nazw plików znajdują się w określonej kolejności. Z góry dziękuję!
1
Znamionowe używanie jest ograniczone do około 1 prośbą na sekundę. Jeśli zrobisz więcej, twój adres IP zostanie zablokowany.
Istnieje wiele rozwiązań, ale główne pytanie polega na tym, ile możesz sobie pozwolić czasu i pieniędzy na rozwiązanie swojego problemu?
Podstawowa operacja, w której potrzebujesz, nazywa się zaworem геокодированием.
Tańszym rozwiązaniem jest wdrożenie lokalne instancji Nominatim. Jednak wymaga to sporo czasu i najnowsza maszyna z dużą ilością pamięci, a najlepiej-SSD.
W przeciwnym razie masz API usługi, które można użyć: Google Map API, OpenCageData, Tu , itp.
We wszystkich przypadkach, aby umożliwić stanu dla swoich rekordów 4M, proponuję wysyłać żądania w trybie wsadowym, gdy jest to możliwe, i/lub równolegle.