Casper Sloth startede sin fodboldkarriere i Brabrand IF og skiftede i 2004 til AGF, hvor han spillede ind til 2014.