Fra 1904 og til 1942 var der ikke et separat forsamlingshus i Skivholme. I stedet var byens forsamlingshus en del af ejendommen på Skivholmevej 81, hvor byens lokale smed boede. Huset på Skivholmevej 81 var ejet af de lokale bønder og smeden var forpagter af ejendommen. Som en del af lejeaftalen, var byens smed kontraktligt forpligtet til at drive forsamlingshus i salen i den østre ende af huset.
I 1942 ønskede smeden at købe huset med smedjen og ville samtidig løses fra den kontraktlige forpligtelse om at være vært i forsamlingshuset. Forsamlingshusets medlemmerne besluttede da at købe et stykke jord lidt længere oppe i byen og bygge et nyt forsamlingshus. Det nye forsamlingshus blev bygget lige oven for smedjen, og der ligger det den dag i dag.
I årene 1978-90 blev forsamlingshuset isoleret og fik nyt tag, nye lofter, nyt køkken, nye vinduer, udvendige døre og nye toiletter. For at det sidste kunne lade sig gøre var det nødvendig at lave en tilbygning. Alt arbejde er udført af de respektive bestyrelser med hjælp fra medlemmerne.
I 1992 købte Forsamlingshuset yderligere jord bag huset som er udlagt til parkering for husets gæster.
Den resterende del af den jord forsamlingshuset ejer i dag, blev købt i 1999. Dette grønne område blev etableret med borde-bænkesæt, petanquebane, sandkasse, boldbane og bålplads og står som et rekreativt område som alle medlemmerne kan bruge.
I 2006 fik forsamlingshuset installeret nyt termostatstyret varmeanlæg, så der altid er behageligt i huset og køkkenet fik nyt moderne komfur.
I 2014-15 fik forsamlingshuset nyt industri gaskomfur og 2 indstiksovne med plads til 5 plader i hver.
I 2015 blev der lagt ny belægning foran huset med støtte fra Skanderborg kommunes skønpulje.
I 2017 blev der anlagt en stor og solrig terrasse bag huset. Terrassen er indrettet med bordebænkesæt, flere kulgrill og arbejdsborde. Via terrassen er der også blevet bedre adgang for kørestole og gangbesværede.
I 2019-2020 blev skænkestuen renoveret med nyt gulv, isolerede ydervægge samt nye skabe til service.
I 2023 blev der lavet helt nye og lyse toiletter, hvoraf det ene er handicapvenligt.