Es war ein einfaches Wandtor, das im 30jährigen Krieg aus Sicherheitsgründen sogar zugemauert wurde, da dieser Durchgang nicht unbedingt benötigt wurde. Der Bereich hinter dem Josefstor war zu dieser Zeit nämlich kaum bebaut.
Erst Im 18. Jahrhundert erhielt das Tor sein Torhaus, das heute eine Figur des hl. Josef schmückt - ebenfalls eine Zutat des 18. Jahrhunderts, denn vorher wurde das Tor einfach "Untere Rheinpforte" genannt. Eine andere, längst vergessene Bezeichnung für dieses Tor ist der Name "Pützgassertor", der noch zu Beginn des 20. Jahrhunderts gebräuchlich war.