Najstarszą budowlą na terenie Rawy Mazowieckiej są pozostałości gotyckiego zamku warownego, wybudowanego prawdopodobnie w okresie władania mazowszem króla Kazimierza Wielkiego w latach 1355-1370.

Budowla położona została na planie nieregularnego prostokąta (prawdopodobnie z czterema wieżami) w widłach rzeki Rawki i Rylki, od strony miasta oddzielona sztucznym kanałem. Zamkowe mury o początkowo miały wysokość około 8 metrów. Z biegiem czasu zostały one podniesione do 10 metrów. Przy północnej ścianie muru obwodowego zamek posiadał także dwukodygnacyjny, murowany budynek mieszkalny. Mury obwodowe zostały wzniesione na fundamencie wykonanym z głazów narzutowych.

Trzykondygnacyjna, ośmioboczna baszta wybudowana została na okrągłym cokole mieści w sobie pomieszczenie piwniczne, natomiast dwie powyższe spełniały rolę mieszkalną. W dolnej zachowało się sklepienie gotyckie, kominek oraz wysunięta nad fosę na dwóch kamiennych spornikach latrynę.

Kolejna kondygnacja posiada wnękę, w której prawdopodobnie również znajdował się kominek. Najwyższa kondygnacja nosi nazwę poddasza.

Pierwotnie zamek nie posiadał wierzy bramnej, a wejście na dziedziniec wiodło przez zamurowaną potem bramę w kurtynie muru obwodowego. Dopiero w następnym etapie rozbudowy, który nastąpił pod koniec XIV wieku, rozkuto południowy mur obwodowy w pobliżu wieży i wybudowano bramę, składającą się z dwóch części – wysuniętego przedbramia oraz właściwej bramy z urządzeniami, która przypuszczalnie posiadała dwie lub trzy kondygnacje. Do bramy prowadził drewniany most zwodzony łączący się z mostem na rzece Rylce.

Zamek rawski był jedną z siedzib książąt mazowieckich, a samo miasto pełniło rolę stolicy księstwa. Około 1508 roku podczas pożaru miasta zniszczeniu uległ i zamek, który rok później został odbudowany w stylu renesansowym. W czasie Rzeczpospolitej Szlacheckiej twierdza pełniła rolę więzienia oraz archiwum. Więźniami baszty byli m.in.: niespokojny książę Mekleburski Krzysztof, Koadiutor bp. Ryskiego, pojmany na rozkazem Zygmunta Augusta, spędził w rawskim więzieniu sześć lat, Karol, syn Karola księcia Sudermanii potem króla Szwecji, pojmany został przez Jana Zamojskiego 8.XII.1601 roku w Inflantach, umarł w więzieniu.

Król Zygmunt August w 1563 roku na Sejmie w Piotrkowie przeznaczył czwartą część dochodów na utrzymanie wojska. Skarb ten, zwany “skarbem kwarcianym” został złożony w rawskim zamku.

Budowla została znacznie uszkodzona w okresie wojen szwedzkich. Zamek choć został częściowo odbudowany przez starostę rawskiego Franciszka Lanckorońskiego nadal podupadał w ruinę. Ostatecznie niemal zupełnie został rozebrany przez Prusaków po 1793 roku.

W 1859 roku uderzenie pioruna zniszczyło centralny hełm ocalałej wierzy.

W latach 1957-1959 baszta został przywrócona do stanu obecnego.

W czasie badań wykopaliskowych odsłonięto na rawskim zamku fundamenty wieży bramnej, wieżę kwadratową “domu dużego”, odkopano dwa poziomy dziedzińca z XV i XVII wieku. Każdy poziom osadniczy reprezentowany był przez bardzo liczne zabytki kultury materialnej: znaleziono fragmenty gotyckich i renesansowych kafli piecowych oraz średniowieczne i nowożytne naczynia gliniane, ostrogi, podkowy, groty strzał, noże, sierpy, kielnie, tygielki odlewnicze. Odkryto także wspaniale zachowane wyroby z tworzyw organicznych: drewna (talerze, kubki), ze skóry (całe buty), z kości (figurka szachowa), resztki różnych tkanin. Odnaleziono również ponad 20 monet miedzianych i srebrnych.

Nie często zdarza się możliwość prześledzenia na jednym stanowisku zmian zachodzących w kulturze materialnej od XIV do XVIII wieku.