Situado en la zona más monumental del casco antiguo de la ciudad, en la calle Cuesta del Marqués, este bello museo, conocido como de Yusuf Al Burch, ocupa una casa árabe del siglo XII hábilmente restaurada. Posee dos plantas y nueve habitaciones. Cuenta con un baño, una bodega, un jardín y un aljibe. Las estancias están adornadas con objetos árabes auténticos, unos comprados y otros cedidos por donantes privados e instituciones públicas.

El caserón fue heredado por José de la Torre quien, en un primer momento, tenía la intención de arreglarlo someramente, para posteriormente alquilarlo. Pero al comenzar las obras y descubrir los vestigios de un antiguo palacete árabe, José decidió dedicar el resto de su vida a convertirlo en museo. Llegó incluso a estudiar arte islámico y mantuvo excelentes relaciones con expertos iraquíes.

Aquella no fue tarea fácil. De la Torre era director de publicidad y trabajaba para el Instituto Nacional de Estadística, lo que le garantizaba una posición desahogada. Sin embargo, desde el momento en el que decidió ponerse manos a la obra, abandonó su empleo, dedicándose plenamente a las labores de restauración. Por otra parte, hubo de efectuar numerosos viajes a fin de localizar piezas interesantes para el futuro museo, lo que devino en que invirtiese grandes sumas de dinero, hasta quedar prácticamente arruinado. Finalmente, tras doce años de duro trabajo y arduas investigaciones, en 1976 pudo inaugurar el museo.