Pada tahun 1938, Sultan Ibrahim membina sebuah istana di atas 10 ekar tanah di Bukit Stulang dengan perbelanjaan $400,000. Lokasi ini dipilih kerana Bukit Stulang berdekatan Tanjung Puteri yang merupakan tempat Temenggong Ibrahim mendarat. Di sini bermula kedaulatan Johor berpindah kepada Temenggong Ibrahim pada tahun 1855. Istana tersebut dijadikan kediaman rasmi Tunku Mahkota Tunku Ismail.
Antara peristiwa di istana ini:
*1956- Istiadat perkahwinan Tunku Mahkota Tunku Mahmood dengan Che’ Puan Khalsom binti Abdullah (Josephine Ruby Treverrow).
*1958 – Istiadat perkahwinan Tunku Maimunah dengan Tunku Osman Ahmad.
Pada tahun 1970-1986, istana ini pernah disewa oleh Kerajaan Johor untuk dijadikan tempat persemayaman rasmi Yang Dipertuan Agong (Sultan Kedah, Sultan Terengganu, Sultan Pahang) ketika berangkat ke Johor. Istana ini juga dijadikan kediaman rasmi Perdana Menteri Malaysia (Tun Abdul Razak, Tun Hussein Onn, Tun Mahathir). Selepas kemangkatan Sultan Ismail, istana itu diwarisi Sultan Iskandar yang kemudiannya dipindah milik kepada Tunku Tun Maimunah.
