Almarhum Sultan Ibrahim gemar memburu binatang liar seperti gajah, harimau, seladang, badak dan beruang. Binatang yang diburu ialah binatang yang mengganas, merosakkan tanaman dan mengancam nyawa manusia. Harimau yang pertama diburu dan ditembak ialah pada tahun 1898. Sehingga tahun 1927, Baginda telah menembak mati 35 ekor harimau. Baginda mempunyai keberanian dan cara tersendiri memburu harimau, iaitu secara berhadapan dan menembak apabila harimau menerkam.
Semasa memburu di Segamat pada tahun 1912, Baginda bertitah supaya dibina sebuah kediaman untuk Baginda berehat dan bermalam selepas berburu. Bangunan ini dinamakan Istana Shooting Box. Istana ini masih dijadikan tempat bersemayam apabila Baginda berangkat ke Segamat.
