Jak zbudować sieć neuronową w tej strukturze？z różnymi węzłami podłącza się do różnego rodzaju liczby węzłów w następnej warstwie

Question 1

Wiem tylko, jak korzystać z wbudowaną sieć, takie jak RNN LSTM w PyTorch. Ale oni zazwyczaj mają do czynienia z każdym węzłem na poprzednim poziomie, który będzie dostarczać informacje do wszystkich węzłów na następnym poziomie.

Chcę zrobić coś innego, ale sam nie wiem, jak to zakodować. Jak na tym rysunku: węzeł a jest mapowany ze wszystkimi [d, e, f] trzy węzły w warstwie 2, podczas gdy węzeł b jest mapowany [e,f], a węzeł c kojarzona tylko z [f]. W wyniku węzeł d będzie zawierać tylko informacje z a, podczas gdy e będzie zawierać informacje z [a, b]. I f będzie zawierać informacje od wszystkich węzłów w poprzedniej warstwie. Czy ktoś wie jak zakodować tę strukturę? PROSZĘ, daj mi jakiś pomysł, będę bardzo wdzięczny :D

Struktura

Question 2

Jeśli masz warstwę, która wygląda jak całkowicie podłączony warstwę, ale z niestandardowym połączeniem, należy stosować maskę z prawidłową strukturą.

Załóżmy, x = [a, b, c] czy twój 3-słabe wejście i W oznacza macierz spójności.

>> x
tensor([[0.1825],
        [0.9598],
        [0.2871]])
>> W
tensor([[0.7459, 0.4669, 0.9687],
        [0.9016, 0.4690, 0.0471],
        [0.5926, 0.9700, 0.5222]])

następnie W[i][j] wskazuje na przyłączeniowy ładunek między jth wprowadzanie i i© neuron wyjściowy. Aby zbudować strukturę, podobną twój przykład z zabawką, byśmy zrobili taką maskę

>> mask
tensor([[1., 0., 0.],
        [1., 1., 0.],
        [1., 1., 1.]])

Następnie można po prostu ukryć W

>> (mask * W) @ x
tensor([[0.1361],
        [0.6147],
        [1.1892]])

Uwaga: @ jest matrycy mnożenia i * jest punktowym mnożeniem.

ayandas · Answer 1 · 2021-11-21T18:17:35

Jeśli masz warstwę, która wygląda jak całkowicie podłączony warstwę, ale z niestandardowym połączeniem, należy stosować maskę z prawidłową strukturą.

Załóżmy, x = [a, b, c] czy twój 3-słabe wejście i W oznacza macierz spójności.

>> x
tensor([[0.1825],
        [0.9598],
        [0.2871]])
>> W
tensor([[0.7459, 0.4669, 0.9687],
        [0.9016, 0.4690, 0.0471],
        [0.5926, 0.9700, 0.5222]])

następnie W[i][j] wskazuje na przyłączeniowy ładunek między jth wprowadzanie i i© neuron wyjściowy. Aby zbudować strukturę, podobną twój przykład z zabawką, byśmy zrobili taką maskę

>> mask
tensor([[1., 0., 0.],
        [1., 1., 0.],
        [1., 1., 1.]])

Następnie można po prostu ukryć W

>> (mask * W) @ x
tensor([[0.1361],
        [0.6147],
        [1.1892]])

Uwaga: @ jest matrycy mnożenia i * jest punktowym mnożeniem.

Dlatego, jeśli mój wejście dim wynosi 3, wyjście dim jest równy 3. Struktura mojej sieci neuronowych będzie wyglądać tak: {wejściowy 3 dim, LSTM_layer(3, 64), w Pełni podłączony warstwa(64, 3), * macierz dolna trójkątna maski(3, 3), wyjście dim 3}. Czy to będzie działać jak moje niestandardowe połączenia, aby ostatnie trzy węzła otrzymywali różne informacje? Czy powinienem umieścić matrycę masek między wejściem warstwą(3,1) i warstwą LSTM(3,64)
Czy twój enter szeregowym (masz LSTM między nimi) ? Na swoim rysunku pokazano tylko w pełni stany warstw. Rozwiązanie, które dałem, jest przeznaczona tylko do maskowania warstw FC.
Przepraszam, że zrobiłem cyfrę prosty. Moje dane wejściowe-to wartości szeregów czasowych(wartości, hour_index, week_index), i chcę użyć warstwa LSTM do wyodrębnienia pewnych informacji między wejściem(3 dim) i wyjściem(3 dim). Tak więc, jeśli używam maskę warstwy po LSTM, czy weekend trzy węzły takie: węzeł d zawiera tylko informacje na temat tygodniu, węzeł e zawiera tygodnia i godzinę, węzeł f zawiera wartości, informacje o godzinach i tygodniach?

Jak zbudować sieć neuronową w tej strukturze？z różnymi węzłami podłącza się do różnego rodzaju liczby węzłów w następnej warstwie

Pytanie

Najlepsza odpowiedź

W innych językach

Ta strona jest w innych językach

Popularne w tej kategorii

Najczęściej zadawane pytania w tej kategorii