Kacper Piłsudski zmarł w Wilnie w 1915 roku w wieku 36 lat. Jego grób został odnaleziony przypadkowo, kiedy członkowie Społecznego Komitetu Opieki nad Starą Rossą dokonywali oględzin prowadzonych na cmentarzu prac konserwatorskich. Kacper Piłsudski był jednym z pięciu braci marszałka. Nie ma zbyt wielu informacji na jego temat. Wiadomo, że przez lata mieszkał w Petersburgu. Nigdy nie założył rodziny. Zmarł w Wilnie 28 lipca 1915 roku w wieku 36 lat. Na cmentarzu na Rossie znajduje się też grób innego z braci marszałka - Adama Piłsudskiego, który przed wojną był wiceprezydentem Wilna i senatorem RP. Na nekropolii spoczywa też żona marszałka - Maria z Koplewskich, oraz jego matka - Maria z Billewiczów. Złożone jest tam też serce marszałka.