Pada tahun 1886, Sultan Abu Bakar membina tiga buah istana di kawasan Kebun Bunga Istana Besar. Salah sebuah istana tersebut dinamakan Istana Zahrah bagi memuliakan adinda Baginda Ungku Zahrah binti Temenggong Daeng Ibrahim. Istana tersebut mengandungi sebuah Balai Menghadap (Balai Zahrah) yang mempunyai reka bentuk mirip bunga cengkih dan dilengkapi ukiran daun dan bunga cengkih di dinding. Oleh itu, Balai Menghadap tersebut dikenali sebagai Balai Cengkih.
Sultan Abu Bakar berpindah dari Istana Tyersall dan bersemayam di Istana Zahrah pada 27 Mei 1889. Che’ Puan Khatijah Hanum dimahkotakan dan diberi gelaran Sultanah Khatijah pada 28 Februari 1894 di Balai Cengkih. Tunku Mahkota Tunku Ibrahim dimasyhurkan sebagai Sultan Johor di Balai Cengkih pada 7 September 1895. Pada tahun 1913, Istana Zahrah digunakan sebagai Bukit Zahrah English School . Pada tahun 1970-an, bangunan itu digunakan sebagai Sekolah Agama Bukit Zahrah tetapi telah ditutup. Kini, Istana Zahrah dalam fasa pemuliharaan.
