Das erste Gebäude auf dem Gelände war eine Lodge, in der die im Garten der Firma beschäftigten Sklaven untergebracht wurden. Es wurde um 1679 auf einem Grundstück errichtet, das ursprünglich Teil des Gartens war, und ist damit eines der ältesten Bauwerke Kapstadts.
1807 wurden neue Einrichtungen benötigt, die die Kapkolonie verwalten konnten, und die Iziko Slave Lodge erfüllte die Bedürfnisse der meisten. Die Mehrheit der Sklaven in The Lodge wurde versteigert und andere wurden auf die Westseite des Gebäudes verlegt. Die leer stehenden Flächen wurden zu Büros umgebaut.
1811 wurde auch der Westflügel renoviert. Verantwortlich für die Umgestaltung waren unter anderem der Architekt Herman Schutte, der Bildhauer Anton Anreith und der Architekt Louis Michel Thibault.
Zusammen mit der Lodge war ein Regierungsbüro, es beherbergte auch Regierungsbüros, den Obersten Gerichtshof, das Postamt und die Bibliothek für die Öffentlichkeit. Das heutige Gebäude wurde einst bis zur Adderley Street verlängert, aber dieser Teil wurde abgerissen, als die Straße verbreitert wurde. Die ursprüngliche Fassade wurde von Thibault entwickelt und zu ihrem früheren Glanz restauriert.
Iziko Museums of Cape Town hat die Slave Lodge in einen wichtigen Ort verwandelt, der das Bewusstsein für die Probleme der Sklaverei, kulturelle Vielfalt und den Kampf für die Rechte aller Menschen in Südafrika schärft.
Die Geschichte der Sklaverei am Kap wird durch audiovisuelle und dreidimensionale Darstellungen, Karten, Bilder und Texte illustriert.
Ein Abschnitt, der sich auf das Leben der Lodge konzentriert, wurde unter Verwendung von archäologischen und Archivmaterialien sowie persönlichen Erinnerungen von Menschen geschaffen, deren Vorfahren Sklaven am Kap waren.