Børge Madsen var gennem en længere årrække aktiv i fagbevægelsen. Han sad i bestyrelsen for Dansk Arbejdsmands Forbund senere Specialarbejder Forbundet i Danmark.