Sultan Abu Bakar membina sebuah istana di atas Bukit Sri Manggis berhadapan tambatan Jabatan Laut di Jalan Sekudai (sekarang Persiaran Abu Bakar). Istana tersebut dipadankan dengan Hardwick Castle di London yang dinamakan Istana Menara Empat atau Istana Tambatan, Istana Pantai atau Istana Laut. Pada tahun 1892, Sultan Abu Bakar memindahkan semua pejabat kerajaan kecuali pejabat perbendaharaan dari Istana Besar ke Istana Menara Empat. Istana tersebut dijadikan sekolah English College Boarding School sehingga tahun 1913. Istana itu musnah terbakar pada tahun 1913. Pada tahun 1950-an, sebuah hotel The Straits View Hotel telah dibina ditapak tersebut.
