Det Jyske musikkonservatorium blev oprettet i 1927 af den kongelige kammermusicus Johan Nilsson og blev omdannet til en selvejende institution i 1932. Som det fremgår af den i 1944 stadfæstede fundats er institutionens formål, "at give vordende musikere og musikpædagoger en grundig og kunstnerisk uddannelse og at virke til højnelse af dansk musikliv".

Konservatoriet erhvervede sig fra 1949 ret til at afholde en af staten musikpædagogisk eksamen.