Das heutige Hotel Barbarossa besteht eigentlich aus drei Bürgerhäusern, obwohl es heute als ein einheitliches Gebäude erscheint. Die Bürgerhäuser "Zum Kremli" (Kamel) und die westlich anschließenden Häuser "Zum Egli" (früher Visch) und "Zum grünen Gatter" bilden das heutige Hotel Barbarossa. Die älteste Nachricht, aus dem Jahr 1388, ist eine Urkunde des Konstanzer Domkapitels in der das Haupthaus "Zum Kremli" als neues Haus bezeichnet wird.
Es war bischöfliches Lehen im Besitz der Geschlechterfamilie von Ulm und lag noch innerhalb der Stadtmauer des 12. Jahrhunderts. Unmittelbar nach dem Konstanzer Konzil (1414-1418) wurde das Gebäude erstmals als Wirtschaft mit Tanzboden erwähnt.
Im Ratsbuch von 1497/98 ist ein Ulrich von Kämlin verzeichnet, dem der Rat vergönnt, "sinigenen win zu schenken", also seinen eigenen Wein innerhalb des Hauses auszuschenken. Als damaliger Inhaber wird jedoch der Ratsherr Jakob Muntprat genannt.
Anschließend gab es einige Besitzerwechsel. Der spätere Besitzer des Hauses "Zum Kremli" Hans Schulthaiß kaufte 1520 das westlich angrenzende Haus "Zum Egli" dazu, so dass beide Häuser nun in einer Hand waren. Man nimmt an, dass in dieser Zeit ein Um- oder Neubau stattfand. Denn im 1. Obergeschoss des Hausteiles "Zum Egli", dem heutigen Grünen Salon, befindet sich eine Fenstersäule mit spätgotischen Formen und dem Familienwappen der Schulthaiß'. Aus dieser Zeit könnte auch der schön gewölbte Keller, der heutige Stauferkeller, stammen.
1612/1613 wurde von Max Schulthaiß wieder umgebaut. Aus dieser Zeit stammt das heutige Fassadenbild mit den Fensterformen, welches beide Häuser als Einheit erscheinen ließ. Nachdem 1671 die Erben des Konrad Schulthaiß das Haus an einen gewissen Johann Jakob Grasser verkauften, welcher es später an die Töchter des Ratsherren Jakob Welz vermachte, sind im Häuserbuch große Lücken zu verzeichnen.
Die nächste Erwähnung des Hauses stammt von 1780, als das Haus die Post beherbergte. Sie war unter den Arkaden untergebracht, bis sie 1800 in die "Sonne" an der Marktstätte verlegt wurde.
Um 1800 richtete Rochus Hafner, der ehemalige Kammerdiener des Generals von Wolfess, ein Kaffeehaus im Wiener Stil ein, dass der spätere Inhaber Franz Leo unter seinem Namen weiterführte.
1863 erwarb ein Lorenz Duttlinger aus Riedern bei Waldshut das Kaffeehaus und nannte es erstmals "zum Barbarossa". Nur 11 Jahre später - im Jahr 1874 - kaufte Martin Miehle, der Ur-Ur-Großvater des heutigen Inhabers Florian Miehle, das Gebäude.
Der aus aus eine Gastgeber-Familie von Blumenfeld stammende Martin Miehle kaufte das Haus wohl unter anderem wegen des Gewölbekellers, den er für den Ausbau seines Hausweines brauchte. Den Traubenmost ließ er sich aus dem Kaiserstuhl anliefern.
Unter seinem Leitspruch "An historische Stelle ein wahrhaft gastliches Haus" baute Martin Miehle mit seinem Sohn Karl in den Jahre 1899 - 1903 das Gasthaus zum Hotel um. Die Arkaden wurden geschlossen und ein neuer Treppenaufgang entstand. Im Innenhof entstanden Anbauten für die notwendigen Nebenräume, wie Wäscherei etc..
1905 konnte zudem das Nachbarhaus "Zum grünen Gatter" erworben werden, in dessen 1. Stock sich heute der Art-Déco-Saal mit seinem erkerartigen Fensterausbau befindet.
In dieser Zeit erhielt das Barbarossa, als eines der ersten Hotels, eine Dampf-Zentralheizung, mit auch fließend Kalt- und Warmwasser in jedes Gästezimmer gelegt werden konnte.
Im wesentlichen hat sich seit dieser Zeit nicht viel geändert. Die Fassade ist bis heute gleich geblieben. Die Rezeption wurde 1990 vom 1. Stock ins Erdgeschoss verlegt und der große Personenaufzug wurde eingebaut. Im Jahr 2012 wurde die Küche grundlegend renoviert. Um auch nachhaltig etwas für die Umwelt zu tun, wurde damals eine Wärmerückgewinnung an die Kälteanlage angeschlossen, die mit der Abwärme das Wasser vorheizt. 2016 wurde weiter in zeitgemäße und umweltbewusste Haustechnik investiert. Seitdem verrichtet unter anderem ein Blockheizkraftwerk seinen Dienst und liefert neben Strom auch Wärme für die Warmwasserversorgung.