Sultan Abu Bakar berhasrat mengadakan suatu tanda yang melambangkan kedaulatan Baginda di Johor. Baginda membina sebuah istana yang mempunyai reka bentuk yang sesuai dengan kedaulatan dan kuasa pemerintahan Baginda. Istana itu hendaklah lebih besar dan lebih indah daripada kediaman Gabenor British di Singapura. Baginda memilih sebuah kawasan strategik di Bukit Bintang yang berhadapan Selat Johor. Istana Besar dikelilingi kebun botani seluas 300 ekar.
Pembinaan Istana Besar bermula pada tahun 1864. Pemborongnya ialah Wong Ah Fook dan kerja-kerja diselia oleh Dato’ Yahya Awaluddin, jurutera, arkitek dan ahli Majlis Jumaah Menteri. Reka bentuk Istana Besar ialah “Anglo Indian in build, in style renaissance” (Florence Caddy). Jubin yang digunakan diimport dari Eropah, batu marmar lantai dari Itali, genting dari China, batu pejal dari Pulau Ubin, batu bata dari Singapura dan kayu jati dari Johor. Istana Besar siap dibina dalam tempoh dua tahun dan dibuka pada 1 Januari 1866, iaitu sama tarikh dengan penamaan semula Iskandar Puteri kepada Johor Bahru.
Istana Besar tidak dijadikan istana persemayaman Baginda. Ia digunakan sebagai Balai Menghadap dan tempat persemayaman raja yang melawat Johor. Untuk tujuan politik dan memperkenalkan Johor di persada dunia dan mengukuhkan perdagangan antarabangsa, Sultan Abu Bakar telah mengadakan enam lawatan ke England, negara-negara Eropah, Turki dan dua lawatan ke Timur Jauh termasuklah Jepun. Bagi tujuan menjalin hubungan diplomatik dengan kerabat diraja asing, Sultan Abu Bakar mengundang mereka melawat Johor untuk melihat sendiri kemajuan Johor.
Antara kerabat diraja yang menginap di Istana besar ialah:
1)1869 – Duke of Edinburgh.
2)1871 – Russian Grand Duke.
3)1880 – Prince Henry of Prussia.
4)1881 – King David Kalakua of Hawaii.
5)1882 – Prince Albert Victoria dan Prince George of Wales.
6)1907 – Duke of Connaught.
7)1924 – King Rama of Siam.
8)1929 – Marquis Tokugawa of Japan.
Pada tahun 1868, Pejabat Perbendaharaan, Pejabat Tanah dan Ukur, Pejabat Kastam dan Pejabat Pelajaran adalah antara pejabat kerajaan yang dipindahkan ke Istana Besar sebagai menzahirkan ungkapan “Istana itu Kerajaan dan Kerajaan itu Istana”.
Istana Besar menyaksikan beberapa peristiwa penting dalam sejarah Johor dan negara. Kemahkotaan Sultan Abu Bakar pada 29 Julai 1886 mencatat sejarah negara sebagai Raja Melayu pertama dimahkotakan. Kemahkotaan Sultan Ibrahim dan Tunku Ampuan Maimunah diadakan pada 2 November 1895. Kemahkotaan Sultan Ismail dan Sultanah Aminah diadakan pada 10 Februari 1960, dan Kemahkotaan DYMM Sultan Ibrahim dan DYMM Raja Zarith Sofiah Permaisuri Johor pada 23 Mac 2015.
Kongres Melayu ketiga diadakan pada 11 Mei 1946 di Istana Besar dan dirasmikan oleh Pemangku Raja Tunku Mahkota Tunku Ismail. Mesyuarat ini menyaksikan penubuhan Pertubuhan Kebangsaan Melayu Bersatu (PEKEMBAR) atau UMNO (United Malays National Organization). Pada tahun 1988, Sultan Iskandar bertitah supaya Istana Besar dijadikan Muzium DiRaja Abu Bakar yang menyimpan dan mempamerkan artifak sejarah Kesultanan Johor Moden.
