Skoven er opkaldt efter gården Jarlsminde, der i dag har adresse på Søskrænten 4 ved Stavtrup.