Der Berggarten liegt nördlich des Großen Gartens auf der anderen Seite der Herrenhäuser Straße. Er ist einer der ältesten botanischen Gärten in Deutschland.
Der Garten wurde 1666 von Herzog Johann Friedrich als Küchengarten für den Gemüseanbau angelegt. Kurfürstin Sophie wandelte den Berggarten in einen Garten für exotische Gewächse um, wofür 1686 ein Gewächshaus entstand. 1750 übernahm der Küchengarten in Linden die Versorgung des Hofes mit Obst und Gemüse allein, der Berggarten ist seitdem ausschließlich ein botanischer Garten. In den Schauhäusern und Themengärten des Berggartens sind gegenwärtig 11.000 verschiedene Pflanzen aus verschiedenen Klimazonen zu finden, darunter die größte Orchideensammlung Europas.
Zwischen 1817 und 1820 erbaute Georg Ludwig Friedrich Laves ein Gartenmeisterwohnhaus, das 1952 zum Bibliothekspavillon wurde. Von 1842 bis 1847 dauerten die Arbeiten nach Plänen von Laves an einem Mausoleum, in dem König Ernst August und seine Frau Friederike ihre letzte Ruhestätte fanden.