Horsö ligger i det innersta av innerskärgården, skyddad av fastlandet i väster, Askö i norr och av Häfsö och Långö i öster. Bergen på Horsö är höga men av inlandsisen slipade till rundade konturer. Mitt på ön löper en bred bördig dalgång i NV-SÖ riktning där den gamla byplatsen och det mesta av jordbruksmarken finns samlad.
Mycket talar för att Horsö var bebott redan på 1400-1500-talen. Helt säkra är uppgifterna ur en boskapslängd från 1627 som omtalar en skattepliktig landbo på ön. Vid tiden för storskiftet 1814 bestod byn av fyra hemmansdelar som alla låg på ett impediment mitt i den bördiga dalgången. Senare vid laga skifte 1864 flyttades en av gårdarna ut från byn samtidigt som en del mindre nya bosättningar dyker upp på öns mer perifera delar. Med undantag för några moderna fritidshus är det fortafarande samma struktur som är bevarad på Horsö.
http://www.kalmarlansmuseum.se/site/kulturmiljo/bygg/pdf_orapp/vaster/loftah/hersoko.pdf