The Sword wurden 2003 im Musik-Mekka Austin, Texas gegründet und bestanden die meiste Zeit ihrer Bandgeschichte aus Sänger und Gitarrist John D. Cronise, Gitarrist Kyle Shutt, Bassist Bryan Richie und Schlagzeuger Santiago „Jimmy“ Vela III.
2006 erschien ihr Debütalbum „Age Of Winters“, geschrieben und produziert von Cronise. „Gods Of The Earth“, ebenfalls von Frontmann Cronise produziert, erschien 2008 und bescherte der Gruppe ihren ersten Einstieg in die US Billboard 200. Im Verlauf ihrer Karriere sind The Sword schon mit Metallica, Lamb Of God und Clutch getourt, seit einigen Jahren auch als Headliner ihrer eigenen Tourneen.
Nach sechs Alben löste sich die Band im Jahr 2022 auf. Seit 2024 sind The Sword wieder aktiv.