Dlaczego fizyk dostał Nobla za sieci neuronowe?
Grafika symbolicznie prezentująca sieć, fot. freepik/kjpargeter
Komentarz naszych fizyków
Wiele osób mogło z zaskoczeniem przyjąć dzisiejszy werdykt Komietu Noblowskiego, przyznający nagrodę z fizyki Johnowi Hopfieldowi oraz Geoffrey’owi Hintonowi za „fundamentalne odkrycia i wynalazki, które umożliwiają uczenie maszynowe za pomocą sztucznych sieci neuronowych”. O ile wybór Hintona — który uzyskał doktorat z informatyki i dzięki pracom na temat propagacji wstecznej w wielowarstwowych sieciach neuronowych jest powszechnie uważany za ojca chrzestnego AI — nie dziwi, o tyle nagroda dla Hopfielda, który jest fizykiem, może już wzbudzać zdumienie.
Jednak to właśnie John Hopfield, publikując w 1982 w prestiżowym czasopiśmie PNAS pracę Neural networks and physical systems with emergent collective computational abilities, pokazał, że opis jednowarstwowej sieci neuronowej jest identyczny z tym, który zaproponowano dla tzw. szkła spinowego. Szkło spinowe, opisane w 1975 roku przez Davida Sherringotna oraz Scotta Kirkpatricka, a następnie badane m.in. przez Giorgio Parisi’ego (Noblistę z fizyki z 2021 r.), to układ, charakteryzujący się brakiem wypadkowego momentu magnetycznego, ale wykazujący lokalne uporządkowanie spinów. Jego korzenie sięgają słynnego modelu Isinga, a opis teoretyczny to klasyczny przykład zastosowania fizyki statystycznej.
Hopfield pokazał, że zaproponowana przez niego sieć neuronowa, symulująca pamięć asocjacyjną, mimo swojej prostej struktury, jest w stanie zapamiętywać i przechowywać wzorce, wykorzystując kolektywne oddziaływanie pomiędzy neuronami. Praca ta to jeden z kamieni milowych rozwoju koncepcji rekurencyjnych sieci neuronowych, których zastosowanie znajdziemy m.in. w rozpoznawaniu pisma czy mowy, a także w przetwarzaniu języka naturalnego.
Historia zatacza koło: dziś sieci neuronowe są jednym z wielu narzędzi uczenia maszynowego standardowo wykorzystywanych w fizyce,w tym również na Wydziale Fizyki PW – począwszy od identyfikacji cząstek elementarnych, poprzez projektowanie dyfrakcyjnych elementów optycznych, badanie przestrzeni międzyziarnowej w elektrolitach stałych, a na przewidywaniu możliwych połączeń w sieciach społecznościowych skończywszy.
Mimo ponad 40 lat, które minęły od momentu opublikowania pracy Hopfielda, sprzężenie zwrotne pomiędzy fizyką a informatyką trwa dalej. Okazuje się, że bezpośrednie zastosowanie sieci neuronowych do opisu problemów fizycznych może przynosić błędne wyniki w przypadku niewystarczających danych treningowych. Jednak ostatnie lata pokazują, że dzięki koncepcji PINN (Physics-Informed Neural Networks), opierającej się na uwzględnieniu podstawowych zasad fizycznych w funkcji kosztu sieci neuronowych, możliwe jest obecnie wykorzystanie tych algorytmów do otrzymania poprawnych rozwiązań problemów fizycznych.
Autorzy: dr hab. inż. Julian Sienkiewicz, dr inż. Tomasz Gradowski
