Semasa mengadakan lawatan ke Batu Pahat pada tahun 1911, Sultan Ibrahim bertitah supaya sebuah rumah dibina di kaki Gunung Banang untuk digunakan ketika berangkat ke daerah itu. Rumah tersebut dikenali sebagai Rumah Tempat Datang-Datang atau lebih mesra sebagai Istana Batu Pahat. Di kawasan itu juga dibina rumah kediaman Pesuruhjaya Negeri sebagai Wakil Raja dan berek Askar Timbalan Setia Negeri. Pada tahun 2015, DYMM Sultan Ibrahim bertitah supaya istana tersebut diubah suai dan dibina semula dengan mengekalkan reka bentuk asal. Baginda juga bertitah agar nama Rumah Tempat Datang-Datang dikekalkan.
