Fæstningens ældste del, White Tower, blev påbegyndt i 1076 af Vilhelm 1. Erobreren.
Tower har en fortid som fængsel. Den sidste indsatte var nazisten Rudolf Hess i 1941.
I dag huser Tower bl.a. de britiske kronjuveler.
Towers vagter, Yeomen Warders, kaldes også Beefeaters ("kødspisere"). Tilnavnet er fra 1600-tallet, hvor ansatte ved slottene levede godt.
Henrik 8.s koner Anne Boleyn og Katarina Howard blev henrettet her.
Der er tradition for at holde en lille bestand af ravne i Tower. Legenden siger, at riget vil falde, hvis ravnene forsvinder.
Hver aften kl. 21.53 låses Tower af. Sådan har man gjort i over 700 år.