El Carmen de la Victoria está situado en un lugar donde hay Cármenes desde la época árabe. Su forma se fija a fines del siglo XIX, cuando se unifican el primitivo Carmen de la Victoria, llamado Carmen Olivarillo, y el Carmen Percal, a ambos lados de la muralla árabe de la Cuesta del Chapiz.

El Carmen de la Victoria fue adquirido por la Universidad en 1945

Los cármenes son fincas típicas de los barrios históricos de Granada, herederas de los huertos de deleite que poseían los árabes granadinos en los contornos de la ciudad. Hoy en día son jardines domésticos que mantienen una vieja tradición de retiro placentero para sus propietarios.

El Carmen de la Victoria está situado en la colina del Albayzín, en el arrabal árabe de Axaris, límite de la ciudad que era ya en época árabe lugar de huertos, cármenes y jardines.

Tras la demolición del convento de la Victoria en el siglo pasado, al que estaba ligado parte de su solar, se forma el Carmen tal y como hoy lo conocemos, producto de la unificación del primitivo Carmen de la Victoria-Huerto del Olivarillo con el Carmen del Pencal, separados el uno del otro por la muralla árabe del Chapiz, cuyo trazado se advierte aún en las paratas de los jardines. A estos dos cármenes se unieron varias casas y trozos de calle para formar los escalonados jardines que rodean la residencia.

Adquirido por la Universidad de Granada, es desde entonces el único carmen público de la ciudad que no ha perdido su carácter de vivienda-jardín. Fue primero una residencia de estudiantes marroquíes (Casa de Marruecos) ligada a la Escuela de Estudios Árabes, luego un Colegio Mayor, y hoy Residencia de Invitados, siempre abierto al disfrute de los universitarios.

Aunque con el tiempo se han ampliado sus edificaciones, el trazado de los jardines se mantiene como hace mas de cien años. Es por ello uno de los cármenes granadinos menos alterados, conservando las formas jardineras tradicionales del regionalismo granadino del siglo XIX.