W połowie marca 1981 ujawniła się w jego organizmie choroba nowotworowa. Mimo starań lekarzy nie dało się zahamować rozwoju choroby. 16 maja 1981 prymas przyjął sakrament chorych. Po przyjęciu sakramentu zwrócił się do zebranych przy łóżku, nawiązując m. in. do zamachu na życie papieża Jana Pawła II, który miał miejsce 13 maja, powiedział: Uważam, że powinienem dzielić dolę Ojca Świętego, który wprawdzie później, ale włączył się w moje cierpienia.

          22 maja 1981 wystąpił publicznie ostatni raz, otwierając obrady Rady Głównej Episkopatu Polski. Zmarł sześć dni później, w czwartek 28 maja, w uroczystość Wniebowstąpienia Pańskiego. W oficjalnym komunikacie Rady Głównej Episkopatu Polski podano, że przyczyną śmierci był rozsiany proces nowotworowy jamy brzusznej o wybitnej złośliwości i szybkim postępie[2]. Tego samego dnia zebrała się Komisja Wspólna Przedstawicieli Rządu i Episkopatu. Przedstawiciele rządu wręczyli zastępcy przewodniczącego Konferencji Episkopatu Polski kardynałowi Franciszkowi Macharskiemu list kondolencyjny do Episkopatu od władz państwowych. Na posiedzeniu Komisji Wspólnej podjęto decyzję o ogłoszeniu żałoby narodowej od 28 do 31 maja. W dniu śmierci prymasa nadeszła do Polski depesza kondolencyjna od przechodzącego rehabilitację po zamachu papieża Jana Pawła II. Papież odprawił również mszę za duszę prymasa w swoim szpitalnym pokoju, zaś w Kościele Najświętszej Maryi Panny na Zatybrzu, tytularnym kościele zmarłego odprawiona została msza żałobna pod przewodnictwem kardynała Władysława Rubina. 28 maja wieczorem przeniesiono ciało zmarłego z pałacu arcybiskupów warszawskich przy ul. Miodowej do kościoła seminaryjnego pw. Wniebowzięcia NMP i św. Józefa Oblubieńca przy Krakowskim Przedmieściu, gdzie następnie odprawiona została msza żałobna, której przewodniczył kardynał Macharski.