Fort Walmer wybudowany został około 1540 roku na polecenie króla Anglii, Henryka VIII. Twierdza stanowiła jeden z trzech fortów (obok Deal i zniszczonego w XIX wieku Sandown) chroniących obszar zwany Downs należący do założonego przez króla Edwarda I w 1278 roku sojuszu Cinque Ports (Pięć Portów). Sojusz ten zezwalał na zawiązanie konfederacji miast portowych (z początku były to Dover, Hythe, Sandwicz, New Romney i Hasting) i w zamian za przewóz żołnierzy oraz zaopatrzenie okrętów wojennych oferował im liczne przywileje handlowe takie jak np. zwolnienie z podatków. Forteca wzniesiona została na planie tzw. "Róży Tudorów" i swoją budową przypomina pobliski Fort Deal. Jedyne poważnie oblężenie warownia przeżywała w połowie XVII wieku, w czasie II Angielskiej Wojny Domowej toczonej pomiędzy Parlamentarzystami a Rojalistami. Z biegiem czasu fort zaczął tracić swoje znaczenie strategiczne i w konsekwencji na początku XVIII wieku przekształcony został w ufortyfikowaną rezydencję. Wtedy też otoczono go imponującymi i eleganckimi angielskimi ogrodami. Przetrwały one do czasów obecnych i dziś stanowią dodatkową atrakcję dla turystów odwiedzających fort. W Walmer przebywało wiele znamienitych i wpływowych postaci, takich jak Książę Wellington (zwycięzca z pod Waterlo), Sir Winston Churchill (dwukrotny premier Zjednoczonego Królestwa) czy królowa Elżbieta. Obecnie fort stanowi własność prywatną i otoczony jest opieką angielskiego towarzystwa English Heritage Fort Walmer. Mimo to obiekt udostępniony jest dla zwiedzających.