Zum Zeitpunkt der Stadtgründung Karlsruhes 1715 war die markgräfliche Hofbibliothek bereits 200 Jahre alt. Als erster Unterbringungsort in der neuen Residenz diente ihr ab 1765 ein gerade fertiggestelltes Nebengebäude des Karlsruher Schlosses. Dorthin wurden die bis dahin in der Karlsburg in Durlach aufgestellten Bücher überführt; 1771 kamen die Bände aus der Bibliothek der Markgrafen in Baden-Baden hinzu.

1873 zog die inzwischen auf 122.486 Bände angewachsene Großherzogliche Hof- und Landesbibliothek in das Sammlungsgebäude am Friedrichsplatz um. Dieses Gebäude hatte Großherzog Friedrich I. von Baden (1826–1907) erbauen lassen, um seine verschiedenen Sammlungen der Öffentlichkeit zugänglich zu machen. Architekt des zwischen 1866 und 1873 im Stil der italienischen Renaissance errichteten Neubaus war der Karlsruher Oberbaurat Karl Joseph Berckmüller (1800–1879), ein Schüler des Stadtbaumeisters Friedrich Weinbrenner.

In diesem Gebäude nutzte die Landesbibliothek das gesamte Obergeschoss. Die Büchermagazine waren hochmoderne selbsttragende Regalkonstruktionen, die eine optimale Raumausnutzung garantierten. Die Lese- und Verwaltungsräume lagen im mittleren Gebäudetrakt auf der rückwärtigen Seite, dem Nymphengarten zugewandt. Das Gebäude war bereits mit zwei Fahrstühlen ausgestattet.

Schon bald nach dem Einzug gerieten die stetig wachsenden musealen und bibliothekarischen Sammlungen in Platznot. Die Sammlungen für Altertums- und Völkerkunde zogen mit der Gründung des Badischen Landesmuseums 1919 zurück ins Karlsruher Schloss. Fortan teilte sich die nunmehr Badische Landesbibliothek das stattliche Gebäude noch mit dem Naturkundemuseum.

Nach der Zerstörung der Badischen Landesbibliothek im Sammlungsgebäude am Friedrichsplatz in der Nacht vom 2. auf den 3. September 1942 fand die Bibliotheksverwaltung zunächst Unterschlupf in Räumen des Evangelischen Oberkirchenrats in der Blumenstraße, ab Juli 1943 im Ständehaus an der Ritterstraße. Nachdem auch das Ständehaus ausgebombt war, zog sie wieder zurück in das Sammlungsgebäude und verbrachte die Zeit bis Kriegsende im Keller des Ostflügels. Die wenigen aus den Kellern evakuierten Bestandsreste und die zum Wiederaufbau neu beschafften Bestände wurden zunächst an Auslagerungsorte verbracht. Bis April 1947 wurden sie nach Karlsruhe zurückgeholt und erst einmal im nordwestlichen Magazinflügel des Generallandesarchivs aufgestellt.

Ab Januar 1950 konnte die Badische Landesbibliothek im Magazintrakt des Generallandesarchivs wieder für die Benutzung geöffnet werden. Dieses Nachkriegsprovisorium sollte fünfzehn Jahre währen. Erst im Dezember 1964 konnte ein eigener Bibliotheksneubau im Nymphengarten bezogen werden.

Im Juni 1955 beschloss der Landtag von Baden-Württemberg, die Mittel für einen eigenständigen Neubau der Badischen Landesbibliothek am Friedrichsplatz bereitzustellen. Zunächst wurde ab 1958 der Westflügel des Sammlungsgebäudes instandgesetzt; hier wurde auf sechs Etagen eine selbsttragende Stahlregalkonstruktion mit Zwischenböden errichtet, die als Büchermagazin Platz für ca. 500.000 Bände schuf. Auch die Handschriftenabteilung und die Werkstätten konnten hier untergebracht werden.

Für die Benutzungs- und Verwaltungsbereiche gestaltete die Staatliche Hochbauverwaltung nach modernen Service-Gesichtspunkten einen dem Magazingebäude benachbarten Pavillon. 1964 wurde dieser dringend benötigte Bibliotheksneubau am Nymphengarten fertiggestellt. Erstmals in der Geschichte des Hauses bot er auch eine separate Ausstellungsfläche: Direktor Franz Anselm Schmitt (1908–1978) eröffnete ihn mit einer Ausstellung zur mittelalterlichen Buchmalerei. Auch der Pavillon steht heute unter Denkmalschutz.

Die nun wieder zentrale Lage der Bibliothek im Stadtzentrum sorgte für einen rasanten Anstieg der Nutzung, dem der Pavillon nicht gewachsen war. Durch die Neuregelung des Pflichtexemplargesetzes im Jahr 1976, den dadurch stark erhöhten jährlichen Bestandszuwachs und den damit einhergehenden Personalaufwuchs stellte sich dieser erste Neubau der Badischen Landesbibliothek schon im Lauf der 1970er Jahre als zu klein heraus. 1982 wurde die Millionengrenze der in der Badischen Landesbibliothek vorhandenen Medien überschritten.

1991 zog die Badische Landesbibliothek aus dem Pavillon aus und überließ ihn dem Staatlichen Museum für Naturkunde als Verwaltungsgebäude. Das Büchermagazin im Westflügel des ehemaligen Sammlungsgebäudes wurde erst beim Bezug eines neuen Außenmagazins im November 2013 geräumt.

Elmar Mittler (geb. 1940), seit 1974 Leitender Direktor der Badischen Landesbibliothek, forcierte schon zehn Jahre nach dem Einzug in den Pavillon das Vorhaben eines „Erweiterungsbaus“ für die Badische Landesbibliothek auf der dem Büchermagazin an der Ritterstraße gegenüberliegenden Fläche. Hier befand sich seit 1944 eine Brache, die als Parkplatz genutzt wurde. Die beiden Vorgängergebäude, das 1804 errichtete sogenannte „Fürstenbergische Palais“, ab 1918 badisches Finanzministerium und nach 1933 von der Wehrmacht genutzt, und das 1857 erbaute badische Außenministerium, später Staatsministerium und ab 1933 Amtssitz des Reichsstatthalters in Baden Robert Wagner, waren 1944 durch Luftangriffe vollständig zerstört worden.

Mittler hatte Erfolg. Das Land Baden-Württemberg lobte 1979 einen mehrstufigen Architektenwettbewerb für den zweiten Neubau der Badischen Landesbibliothek in der Nachkriegszeit aus. An diesem nahmen neben zahlreichen Kandidaten aus Baden-Württemberg auch internationale Wettbewerber wie Rob Krier (geb. 1938) und Gustav Peichl (geb. 1928) aus Wien, Gottfried Böhm (geb. 1920) aus Aachen sowie Aldo Rossi (1931–1997) aus Mailand teil. Insgesamt gingen 22 Entwürfe ein. Gewinner war der Kölner Architekt Oswald Mathias Ungers (1926–2007), dessen Entwurf die Jury wegen seiner deutlichen Bezugnahme auf den historischen Grundriss der Stadt Karlsruhe und die kleinmaßstäblich, vorwiegend klassizistische Bausubstanz der Umgebung überzeugte.

Die Badische Landesbibliothek ist demnach erst seit 1991 an ihrem heutigen Standort untergebracht. Das ein Jahr später fertiggestellte Torgebäude, das seit 2012 das Wissenstor beherbergt, zitiert das 1872 wegen Baufälligkeit abgerissene Ettlinger Tor, ebenfalls einen Bau von Friedrich Weinbrenner (1766–1826). Das Tor ermöglicht den Zugang zum Skulpturengarten, aus dem heraus die Bibliotheksbesucherinnen und -besucher die Badische Landesbibliothek betreten.

Mit 14.000 m² Hauptnutzfläche wurde das neue Bibliotheksgebäude am 17. Januar 1992 eingeweiht. In der Festschrift zum Neubau schrieb der Architekt: „In einer architektonisch und gestalterisch so eindeutig definierten Stadt wie Karlsruhe liegt der Gedanke nahe, ein Gebäude zu entwerfen, das die Vergangenheit seiner eigenen Geschichte vorwegnimmt, ein Gebäude also, das aussieht, als wenn es immer schon dagewesen wäre […] und das weder zeitgeschichtlich noch formal einzuordnen wäre.“

Ein wesentliches Merkmal des Gebäude-Ensembles ist seine Integration in die klassizistisch geprägte Architektur der direkten Umgebung. Sie bestimmt den Maßstab und die Formensprache des Gebäudes. So ist der Bibliotheksbau mit Kuppel und Giebel der Badischen Landesbibliothek direkt bezogen auf die gegenüberliegende, 1814 geweihte katholische Stadtkirche St. Stephan des Karlsruher Architekten Friedrich Weinbrenner (1766–1826). Er übernimmt deren einzelne Elemente – Kuppel, Giebel, Portikus, Arkade – in veränderter Anordnung in die neue Komposition eines geschlossenen Blocks mit Innenhof. Ziel war es, das Bibliotheksgebäude so zu gestalten, dass nicht nur der Neubau Bestandteil seiner Umgebung, sondern umgekehrt auch die Umgebung Teil der Bibliothek würde.

Das Bibliotheksgebäude besteht aus einer äußeren Schale und einem inneren Kern, die als zwei selbstständige Baukörper gestaltet sind. Die Schale aus rotem Sandstein mit Schieferdeckung beherbergt die offenen Magazine und die Verwaltungsbereiche. Der Kern, der sich aus der Schale erhebt, hat einen gelben Verputz und eine Kupferdeckung und birgt das Geschlossene Magazin.

Das durchgängige und unübersehbare Gestaltungselement der Badischen Landesbibliothek ist das Quadrat. Oswald Mathias Ungers hegte eine ausgesprochene Vorliebe für diese geometrische Form. Als zentrales Element zieht sich das Quadrat in einem Dreimeter-Raster durch die Badische Landesbibliothek und liegt der gesamten Architektur zu Grunde.

Im Zentrum des Gebäudekerns liegt der Leseaal als ein mehrgeschossiger Pantheonraum auf quadratischem Grundriss. Die Verbindung von Kubus und Halbkugel als geometrischen Grundelementen übersteigert den Saal ins Archetypische. Nach dem Willen des Architekten manifestiert sich in der auratischen Überhöhung des Raums „der universale Geist des menschlichen Denkens und Wissens“, der Kuppellesesaal „soll Beständigkeit, Dauer, Kontinuität und enzyklopädische Gesamtheit ausstrahlen und vermitteln“.

Das durch Wassereintrag und mangelnden Sonnenschutz inzwischen stark geschädigte Gebäude wird ab Sommer 2017 saniert.