Urodzony w 1943 roku Nielson studiował nauki polityczne na uniwersytecie w Aarhus. Podczas studiów - w latach 1966-67 - przewodniczył krajowemu zarządowi Socjaldemokratycznej Organizacji Studenckiej, a po studiach pracował w duńskim MSZ. W latach 1994-98 był ministrem do spraw pomocy rozwojowej w dwóch kolejnych rządach Poula Nyrupa Rasmussena. W 1998 roku ubiegał się o kierowanie programem ONZ ds. rozwoju. Rok później z ramienia Danii został członkiem Komisji Europejskiej ds. rozwoju i pomocy humanitarnej. Na arenie międzynarodowej uchodzi za uznanego administratora. Jego proeuropejskość nie zyskuje mu jednak w ojczyźnie zbyt wielu zwolenników.