Tematy słuchaczy Apacke Kafki

Question 1

Powiedzmy, że mam 50 tym Kafki, z których każda składa się z 3 partycji, czyli w sumie 150 partycji. Jeśli mam KafkaListener/konsument, który jest skonfigurowany dla każdego z tych 150 partycji (z powodu wysokiej głośności na każdym dziale), oznacza to, że u mnie działa 150 detektorów. Z tego co rozumiem, każdy słuchacz otrzymuje swój własny wątek. Czy to znaczy, że w tym scenariuszu będzie 150 aktywnych wątków? To wydaje się trochę dużo. Czy mogę w jakikolwiek sposób ogranicza to maksymalną liczbę wątków w tym samym czasie(powiedzmy, 20)?

Question 2

Kafka zawsze przekazuje dane z jednej partycji do jednego wątka-konsumenta

W celu ograniczenia ilości wątków 20 z 150 sekcje, można ustawić zbieżność na 8 co powinno skutecznie stworzyć 8 pojedynczych egzemplarzy-konsumentów i ograniczyć liczbę wątków maksymalnie <19 (150/8).

To kolejny post w stosie na ten temat, który trochę więcej wyjaśnia, jak ustawić zbieżność w swojej fabryce detektorów kafki. Ponadto, jest jeszcze jeden godny źródło dla wyjaśnienia niektórych pojęć związanych z tematami i sekcjami kafki.

Question 3

Jeśli chcesz zwiększyć spożycie, tak, trzeba 150 consumer threads na 150 partitions (1 strumień konsumenta na klucz). W przypadku, jeśli masz tylko 20, możesz chcieć zwiększyć spożycie, zamiast tego teraz 1 konsument jest odpowiedzialny za zużycie, na przykład, 150/20=7 partitions. To jest kompromis.
Nie chcesz, aby twoja aplikacja потребляло 50 topics w tym samym czasie. To prowadzi do problemu skali. Powiedzmy, że teraz jednym temacie należy zwiększyć liczbę swoich partitions od 3 do 6 poziomo масштабируете swoją aplikację od 1 do 2 egzemplarzy, co oznacza, że od 150 consumers do 300 consumers i jest tylko 150 + (6-3) = 153 aktywnych consumerspozostałe stają się w stanie spoczynku.

duppydodah · Answer 1 · 2021-11-24T04:47:11

Kafka zawsze przekazuje dane z jednej partycji do jednego wątka-konsumenta

W celu ograniczenia ilości wątków 20 z 150 sekcje, można ustawić zbieżność na 8 co powinno skutecznie stworzyć 8 pojedynczych egzemplarzy-konsumentów i ograniczyć liczbę wątków maksymalnie <19 (150/8).

To kolejny post w stosie na ten temat, który trochę więcej wyjaśnia, jak ustawić zbieżność w swojej fabryce detektorów kafki. Ponadto, jest jeszcze jeden godny źródło dla wyjaśnienia niektórych pojęć związanych z tematami i sekcjami kafki.

Linh Vu · Answer 2 · 2021-11-25T03:34:09

Jeśli chcesz zwiększyć spożycie, tak, trzeba 150 consumer threads na 150 partitions (1 strumień konsumenta na klucz). W przypadku, jeśli masz tylko 20, możesz chcieć zwiększyć spożycie, zamiast tego teraz 1 konsument jest odpowiedzialny za zużycie, na przykład, 150/20=7 partitions. To jest kompromis.
Nie chcesz, aby twoja aplikacja потребляло 50 topics w tym samym czasie. To prowadzi do problemu skali. Powiedzmy, że teraz jednym temacie należy zwiększyć liczbę swoich partitions od 3 do 6 poziomo масштабируете swoją aplikację od 1 do 2 egzemplarzy, co oznacza, że od 150 consumers do 300 consumers i jest tylko 150 + (6-3) = 153 aktywnych consumerspozostałe stają się w stanie spoczynku.

Tematy słuchaczy Apacke Kafki

Pytanie

W innych językach

Ta strona jest w innych językach

Popularne w tej kategorii

Najczęściej zadawane pytania w tej kategorii