Pada tahun 1935, Sultan Ibrahim dan Sultanah Helen memilih sebuah kawasan di atas bukit menghadap Selat Johor untuk dibina sebuah istana. Frank W. Brewer, seorang arkitek menyediakan pelan reka bentuk istana. Sultanah Helen amat suka dan tertarik dengan keadaan dan suasana tempat yang tenteram dan nyaman (serene). Oleh sebab itu, istana yang dibina dinamakan Istana Bukit Serene. Rupa bentuk Istana Bukit Serene dipadankan daripada binaan kediaman Inggeris Cornish Manor dengan tembok dinding daripada rough granite rubble dan bumbung curam menggunakan genting warna hijau dari Belanda.
Istana Bukit Serene terletak di kawasan kebun botani yang seluas 250 ekar. Bangunan dua tingkat mengandungi dua bilik beradu dan tiga bilik tidur lain untuk keluarga, bilik rehat, bilik makan, dapur elektrik dan lain-lain. Terdapat sebuah kolam renang mirip gaya Sepanyol di sebelah utara bangunan tersebut. Sebuah menara 35 meter tinggi dibina untuk menempatkan tangki air di sebelah timur bangunan.
Istana Bukit Serene dibina dengan perbelanjaan $600,000 dan siap pada tahun 1937. Kerajaan Johor menghadiahkan Istana Bukit Serene kepada Sultan Ibrahim sempena 40 tahun baginda menaiki takhta kerajaan. Semasa Perang Dunia Kedua, pegawai pemerintah tentera Jepun, Lt. Gen. Tomoyuki Yamashita dengan kebenaran Sultan Ibrahim menjadikan Istana Bukit Serene sebagai ibu pejabat. Menara tangki air dijadikan menara peninjau untuk mengintip pergerakan tentera Australia di Singapura. Istana Bukit Serene ialah istana persemayaman rasmi Sultan Johor.
