Sultan Abu Bakar membeli hartanah seluas 67 ekar di Tanglin, Singapura daripada William Napier pada tahun 1884. Sebuah kediaman dibina dinamakan “Tyersall ” pada tahun 1854. Kediaman itu dijadikan tempat bersemayam Maharani Fatimah. Sultan Abu Bakar bernikah dengan Che’ Puan Fatimah binti Abdullah (nama asal Wong Ah Gew sebelum memeluk agama Islam) pada tahun 1884. Pada tahun 1890, Sultan Abu Bakar merobohkan bangunan lama dan membina sebuah istana mengikut ciri kediaman mewah Eropah dan mengekalkan nama Tyersall . Arkitek bangunan ialah Dato’ Yahya Awaluddin, seorang ahli Majlis Jumaah Menteri. Pemborong binaan ialah Wong Ah Fook. Istana siap dibina pada tahun 1892, setahun selepas kemangkatan Sultanah Fatimah. Pembukaan rasmi Istana Tyersall disempurnakan oleh Gabenor Negeri-negeri Selat, Sir Cecil Clementi pada 3 Disember 1892.
Pada 14 April 1895, Sultan Abu Bakar membuat wasiat supaya Tyersall dijadikan harta Kerajaan Johor untuk kegunaan waris dan pengganti Baginda. Istana Tyersall musnah terbakar pada 10 September 1905 disebabkan litar pintas elektrik. Pada tahun 1990, Kerajaan Singapura mengambil balik sebahagian tanah dengan bayaran ganti rugi $25 juta kepada Sultan Iskandar. Pada tahun 2006, Sultan Iskandar mengurniakan seluruh kawasan Tyersall kepada cucunda Baginda Tunku Ismail Ibni Tunku Ibrahim, Raja Muda Johor (sekarang Tunku Mahkota Johor).
