Ja trenuję model BERT z wykorzystaniem pytorch około miliona danych tekstowych dla zadania klasyfikacji. Po testach tego modelu z nowymi danymi otrzymuję wyniki fałszywie dodatnie i Fałszywie ujemne wyniki. Teraz chcę переобучить istniejący model tylko z pomocą FN i FP. Nie chcę dodawać FN i FP w istniejący zestaw danych, a następnie ponownie przeszkolić cały model. Jak mi переобучить ten model bert tylko z pomocą tych FN i Fp w porównaniu z wcześniej wyszkolony modelem.
0
Nie znając kodu dla danego cyklu kształcenia, pomysł powinien wyglądać mniej więcej tak po treningu:
results = model(data)
wrong_datapoints = []
for i, result in enumerate(results)
if result != labels[i]:
wrong_datapoints.append((data[i],labels[i]))
(data_new, labels_new) = list(zip(*wrong_datapoints))
model.train(data_new, labels_new)
Jeśli potrzebujesz czegoś bardziej konkretnego, trzeba będzie podać kod aktualnego cyklu pociągu.
dziękuję wam za opinie. Ale chcę go zapisać wzorcowego wersji, tak jak trenujemy co tydzień, możemy zasymulować jego wersji. A także powtarzanie milion rekordów zajmie dużo czasu. Myślałem o starcie poprzedniej wersji pliku bin(v1.0), a następnie переподготовить go tylko z nowymi punktami danych, aby utworzyć inną wersję v2.0
Patricia
Może chcesz udoskonalić swoje pytanie, aby powiedzieć o tym. Jednak zarządzanie wersjami nie eliminuje potrzeby śledzić wyniki punktów danych po treningu, wymaga jednego cyklu na podstawie danych o pociągach po zakończeniu szkolenia. W końcu trzeba ustalić, co to jest "nowe punkty danych".
Kroshtan