Das Kloster "Unserer Lieben Frau" wurde im Jahr 1280 als Niederlassung der Franziskaner gegliedert, welche die Seelsorge in der Stadt zur Aufgabe hatten. Das Konvent, das sich direkt an der nördlichen Stadtmauer ansiedelte, besaß neben der Klosterkirche, dem Klostergebäude mit allen dazugehörigen Nebengebäuden und Gärten, weitere Häuser und Hofgüter.
Im Jahr 1660 wurde nach dem Vorbild der Jesuiten ein Gymnasium im Kloster gegründet.
Der Stadtbrand im Jahr 1689, verursacht durch die französischen Truppen im Zuge des Pfälzischen Erbfolgekrieges, zerstörte das Kloster fast vollständig. Der Wiederaufbau auf den Grundmauern des zerstörten Klosters wurde ab 1692 durch die Franziskanerbrüder und Baumeister Eusebius Moosbrugger und Ulrich Beer in Angriff genommen. Zuerst erfolgte die Errichtung des Klostergebäudes und des Kreuzgangs, ab 1702 wurde die Klosterkirche im barocken Stil der Vorarlberger Schule erbaut. Die Chormauer und die spitzbogigen Fenster mit dem gotischen Maßwerk konnten in den Neubau übernommen werden. Die Arbeiten und die künstlerische Ausstattung zogen sich bis 1779 hin. Geweiht wurde die Kirche der Muttergottes, das Patrozinium ist Mariä Himmelfahrt wie es das Hochaltargemälde zeigt. Das Kloster trägt bis zum heutigen Tag den Namen "Kloster Unserer Lieben Frau". Die Kirche war seit ihrem Wiederaufbau 70 Jahre lang geteilt. Der lang gezogene Chor gehörte dem Kloster, das Langhaus war Eigentum der Stadt, bis diese im Jahre 1900 auf die Eigentumsrechte verzichtete. Als Offenburg 1802 an Baden fiel, drängten die badischen Behörden das Kloster im Zuge der Säkularisation aufzulösen. 1814 erfolgte die endgültige Auflösung der Klostergemeinschaft. 1823 zog mit dem "weiblichen Lehr- und Erziehungsinstitut" erneut ein Schulbetrieb ins ehem. Franziskanerkloster ein, der von dem Orden der Augustiner-Chorfrauen geführt wurde.
1831 wurde das Klostergebäude gründlich saniert, 1843 kam der Neubau eines größeren Schulgebäudes hinzu. Bis in die 1970er Jahre hinein wurde der Gebäudekomplex stetig ausgebaut. Für 1910/11 ist die Erweiterung der Schule nach Nordwesten, 1969/70 nach Südosten belegt.

1940 wurde das Kloster aufgehoben. 1945 kehrten die Ordensfrauen zurück, seit 1948 wird es als Mädchengymnasium genutzt.