Ministrem obrony został pod koniec grudnia 1984 roku, niecałe trzy miesiące przed objęciem władzy przez Michaiła Gorbaczowa. Przetrwał początkowy okres pieriestrojki, zanim zdymisjonowano go 30 maja 1987 roku. Stało się to w dwa dni po tym, jak młody Niemiec Matthias Rust wylądował turystycznym samolotem na moskiewskim. Placu Czerwonym, demaskując całkowitą niesprawność radzieckiego systemu obrony powietrznej. Incydent ten wykorzystano jako okazję do rozległej czystki personalnej w kierownictwie sił zbrojnych, co ułatwiło Gorbaczowowi realizowanie przedsięwzięć, zmierzających do zakończenia zimnej wojny. W momencie zdymisjonowania Sokołow miał 75 lat, będąc po swym bezpośrednim poprzedniku Dmitriju Ustinowie drugim z najstarszych urzędujących ministrów obrony ZSRR.