Skrypt Bash do równoległego wykonania polecenia AWS Cli, aby skrócić czas

0

Pytanie

przepraszam, jestem jeszcze początkujący w pisaniu skryptów bash. U mnie jest około 10.000 egzemplarzy EC2, stworzyłem ten skrypt bash do zmiany rodzaju instancji EC2, wszystkie nazwy i typu wystąpienia są przechowywane w pliku. kod działa, ale do jego realizacji wymaga tak wiele czasu, kopia za kopią.

czy ktoś wie, czy mogę uruchomić polecenie AWS Cli na wszystkich egzemplarzach EC2 za jednym razem ? Dziękuję :)

#!/bin/bash

my_file='test.txt'

declare -a instanceID
declare -a fmo #Future Instance Size

while IFS=, read -r COL1 COL2; do

   instanceID+=("$COL1")
   fmo+=("$COL2")   

done <"$my_file"

len=${#instanceID[@]}

for (( i=0; i < $len; i++)); do

   vm_instance_id="${instanceID[$i]}"
   vm_type="${fmo[$i]}"

   echo Stoping $vm_instance_id
   aws ec2 stop-instances --instance-ids $vm_instance_id

   echo " Waiting for $vm_instance_id state to be STOP "
   aws ec2 wait instance-stopped --instance-ids $vm_instance_id


   echo Resizing $vm_instance_id to $vm_type 
   aws ec2 modify-instance-attribute --instance-id $vm_instance_id --instance-type $vm_type
   


   echo Starting $vm_instance_id 
   aws ec2 start-instances --instance-ids $vm_instance_id
    

done
automation aws-automation aws-cli bash
2021-11-23 09:52:30
2

Najlepsza odpowiedź

1

Zmień kod w funkcji, która jest przekazywana wiersz z pliku.

work() {
   IFS=, read -r instanceID fmo <<<"$1"
   stuff "$instanceID" "$fmo"
}

Uruchom GNU xargs lub GNU parallel dla każdego wiersza pliku, wywołanie eksportowane funkcję. Skorzystaj z -P opcja uruchom funkcję w paralell, można znaleźć w dokumentacji.

export -f work
xargs -P0 -t bash -c 'work "$@"' -- <"$my_file"
2021-11-23 10:03:16
0

Jak wskazał tutaj @KamilCuk, można łatwo wykonać to równolegle. Jednak, jeśli chcesz uruchomić ten skrypt równolegle, można w końcu dostać ograniczenia EC2, więc upewnij się, że masz włączoną jakąś logikę rekolekcje + ponownej próby / przestrzegania ograniczeń określonych tutaj https://docs.aws.amazon.com/AWSEC2/latest/APIReference/throttling.html

2021-11-25 06:11:48

W innych językach

Ta strona jest w innych językach

Русский
..................................................................................................................
Italiano
..................................................................................................................
Română
..................................................................................................................
한국어
..................................................................................................................
हिन्दी
..................................................................................................................
Français
..................................................................................................................
Türk
..................................................................................................................
Česk
..................................................................................................................
Português
..................................................................................................................
ไทย
..................................................................................................................
中文
..................................................................................................................
Español
..................................................................................................................
Slovenský
..................................................................................................................