Richardson provenea dintr-o familie de sportivi, din Mississippi, SUA. Mai avea cinci fraţi, care, de asemenea, jucau şi ei fotbal. Şi-a început cariera la Colegiul Jackson, unde, desigur, a jucat la amatori.
A cunoscut adevărata glorie atunci când a trecut la profesionişti şi s-a remarcat la Baltimore Colts, alături de care a jucat finala Super Bowl, pe care, însă, au pierdut-o.
