Strax nordost om kyrkogårdsmuren står en spånslagen och svarttjärad klockstapel, troligen Dalarnas äldsta. Torsångs kyrka bildar tillsammans med mur, klockstapel och bodar en sällsynt och väl bevarad ålderdomlig miljö. Ursprungligen, och fram till 1800-talet låg på samma plats en större kyrkby och kyrkan omringades av allehanda byggnader.
Klockstapeln uppfördes under 1500-talet och kröntes med spira 1623 (SvK). Den har numera spånbeklädnad, på östra sidan lagd i mönster, men hade ursprungligen troligen brädfodring. Stapeln genomgick grundligare reparationer 1732, 1794 och 1955. Torsångs klockstapel bär två klockor. Storklockan och lillklockan är båda från 1744 men omgjutna senare.
Strax söder om kyrkan ligger klockargården som förr även inrymt kaplansbostad. Gårdens huvudbyggnad är uppförd på 1830-talet men har renoverats 1958. Kaplansstugan är troligen från 1700-talet men har påverkats av ett flertal åtgärder under årtiondena. Stugan inrymde under en period, fram till 1940-talet, byns postexpedition. Gårdens garagebyggnad är uppförd omkring 1960. Torsångs prästgård ligger ca en kilometer nordväst om kyrkan
Norr om klockstapeln och kyrkan har tillkommit ett modernt och arkitektritat församlingshem som kontrasterar mot kyrkans ålderdomliga miljö.
, Det undersökta timret i klockstapeln är med stor sannolikhet väggtimmer från en medeltida timmerkyrka eller kapell. Det uppvisar flertalet likheter med sydligare belägna timmerkyrkor, som i många fall också dateras till omkring 1200- och 1300-talen. Teorierna som finns om att Torsångs nuvarande stenkyrka haft en föregångare av trä förstärks. Torsångs kyrkas strategiska läge, kyrkans tilltagande makt i samhället och bergsbrukets framväxt tillsammans med en kraftig befolkningsökning kan ha drivit på byggnationen av stenkyrkan vid 1300-talets slut eller tidigt 1400-tal. Den äldre träkyrkan eller kapellet fick kanske stå kvar en tid eller så plockades delarna ner. När den första klockstapeln byggdes är omöjligt att säkert veta, men källor omtalar att en stapel fanns under 1500-talet och det var i så fall en föregångare till dagens. Det finns inga tecken som tyder på något annat än att nuvarande klockstapel uppförts vid 1600-talets mitt. När den då byggdes kom delar av den tidigare träkyrkans/kapellets kraftiga timmer till användning.