Pada 14 September 1897, Almarhum Sultan Ibrahim melangsungkan perkahwinan kekandanya, Tunku Puan Besar Mariam, puteri sulung Sultan Abu Bakar dengan Tunku Besar Mahmood, kerabat Pahang. Majlis diadakan di Istana Zahrah. Tunku Besar Mahmood dilantik sebagai Sultan Pahang selepas ayahandanya mangkat. Tunku Mariam menjadi Sultanah Pahang dan digelar Tengku Ampuan Pahang. Selepas tiga tahun, Sultan Mahmood mangkat dan digantikan dengan adindanya Tengku Abdullah sebagai Sultan Pahang. Sultan Ibrahim menjemput kekandanya berangkat balik ke Johor.
Pada tahun 1910, Sultan Ibrahim membeli kediaman rasmi Dato’ Sri Amar Diraja Abdul Rahman Andak di Bukit Sri Lalang. Pada masa itu, Dato’ Abdul Rahman Andak telah berpindah ke London. Rumah tersebut dijadikan kediaman rasmi Tunku Ampuan Mariam dan dinamakan Istana Mustika Embun (The Palace of the Morning Dew). Selepas kemangkatan Tunku Mariam, istana dan kawasannya diwakafkan khususnya untuk pelajar perempuan Islam Kolej Tunku Ampuan Mariam.
