Gafsa est l'hôte du site préhistorique Capsa, qui a donné son nom à la famille « Capsienne » de l'homo sapiens. En effet, des ossements et des traces d'activité humaine remontant à plus de 15 000 ans ont été découverts dans cette région.

Pendant l'antiquité, les Romains fondent Capsa au IIe siècle avant J-C. La ville se développe alors au point de devenir une municipe, puis une colonie. En 540, les Byzantins la protègent d'un rempart et la rebaptisent Justiniana. Oqba Ibn Nafi prend la ville en 688, mais rencontre une résistance farouche car les Berbères ont longtemps refusé de se convertir à l'Islam. Au XIIe siècle, on parle encore latin à Gafsa. Puis en 1551 la ville est assiégée par le corsaire Dragut pour le compte de Barberousse Kheireddine. Elle résiste mais est obligée de capituler en 1556. Durant la Seconde Guerre mondiale, en 1942 et 1943, la cité subit plusieurs bombardements allemands, et une partie de la kasbah est détruite.