Unatoč činjenici da su svojevremeno bili najveći sportski suparnici, slavni Muhammad Ali izrazio je sućut obitelji preminulog Joea Fraziera, poručujući da je svijet izgubio velikog prvaka, javlja Hina.

"Uvijek ću ga se sjećati sa poštovanjem i divljenjem. Svijet je izgubio velikog prvaka, a ja izražavam sućut njegovoj obitelji", priopćio je Muhammad Ali.

Frazier se je tri puta borio sa Muhammadom Alijem i prvi je teškaš koji je porazio Alija u legendarnom meču u 15 rundi 8. ožujka 1971. u njujorškom Madison Square Gardenu poznatom kao "borba stoljeća", nakon kojeg su obojica završili u bolnici. Uoči toga meča Ali je Fraziera nazivao "čiča Toma", što je najveća uvreda za bilo kojeg Afroamerikanca, jer podrazumijeva sluganski odnos prema bijelom gospodaru.

Godine 1974. opet se u New Yorku borio sa Alijem, ali je taj meč izgubio na bodove u 12 rundi. Frazier je do svoje smrti tvrdio da je pokraden u tom meču.

Dvojica velikana i rivala ponovno su se susrela 1975. na Filipinima u jednom od najslavnijih sportskih događaja 20. stoljeća kasnije prozvanim "triler u Manili". U toj brutalnoj borbi (u dvorani je bila temperatura oko 50 stupnjeva Celzijusovih) Frazier je izgubio tehničkim nokautom jer mu trener Eddie Futch nakon 14. runde nije dopustio da nastavi meč zbog zatvorenog oka, što mu boksač nikad nije oprostio. Tada niti Frazier, niti njegov trener Futch nisu znali da je Muhammad Ali bio spreman predati meč nakon 14. runde, jer više nije mogao stajati na nogama.

Muhammad Ali je i uoči tog meča vrijeđao Fraziera, nazivajući ga gorilom. Frazier mu nikada nije oprostio te uvrede.