Jacob Berzelius var son till förste kollegan vid Linköpings gymnasium Samuel Berzelius (1743-1783 och Elisabeth Dorothea, född Sjösten (1747–1787, sonson till kyrkoherde Jöns Bersselius (1689–1773). Släktnamnet kommer av hemmanet Bergsäter i närheten av Motala, ursprungligen hade det skrivits Bergselius. Berzelius gifte sig 1835 i Stockholm med Elisabet Johanna (Betty) Poppius (1811–1884), dotter till statsrådet Gabriel Poppius.
Berzelius blev tidigt föräldralös och genomled från 1793 sina studier på Linköpings gymnasium, ofta missförstådd med anledning av sitt stora intresse för naturstudier och i hans avgångsbetyg betecknades han som "en yngling av tvetydigt hopp". För kunna försörja sig var han tidvis tvungen att avbryta sina studier. Clas Fredrik Hornstedt var här hans lärare, och kom att betyda mycket för hans naturvetenskapliga intresse. Han började 1796 vid universitetet i Uppsala, till en början i avsikt att bli präst, liksom hans förfäder i flera generationer. Han ansåg att hans kunskaper i naturvetenskap var onyttiga där, och valde istället att studera till läkare.
År 1802 disputerade han och blev adjunkt utan lön och därefter professor i medicin och farmaci vid Kirurgiska skolan (sedermera Karolinska institutet) 1807–32. Han blev ledamot av Kungliga Vetenskapsakademien 1808 och var dess ständige sekreterare från 1819 till sin död 1848. Den 10 november 1829 blev Berzelius hedersledamot av Kungliga Vitterhets Historie och Antikvitets Akademien. Han var ledamot av Svenska Akademien 1837 (stol nr 5). Berzelius adlades 1818 och blev friherre 1835, vilket anses vara kung Karl XIV Johans bröllopsgåva, och fick 1841 som nationalbelöning en årlig pension på 2 000 riksdaler banco. Han blev med tiden ledamot i 94 intellektuella sällskap. Exempelvis invaldes han 1813 som utländsk ledamot av Royal Society.
Berzelius är en av de ryktbaraste svenska forskarna någonsin, bara Carl von Linné anses ha stått över honom, och hans arbeten blev grundläggande för kemins uppsving under 1800-talet. Hans värdefullaste verk är arbetet över de bestämda kemiska proportionerna, det vill säga införandet av atomteorin i kemin. Berzelius verkade för spridningen av John Daltons atomteori, vilken innebär att alla atomer har en för grundämnet karakteristisk massa. Berzelius mest kända bidrag är att ha givit grundämnena en- eller tvåbokstavs beteckningar. Han lanserade också flera teorier angående olika ämnens atomuppbyggnad och upptäckte flera grundämnen: kisel, selen, cerium och torium. År 1818 gav han ut sin atomvikttabell, som ytterst lite avviker från dagens.
Redan 1814 utarbetade han metodiken för den organiska elementaranalysen och lade även fram ett nytt mineralogiskt system samt sin berömda elektrokemiska teori, enligt vilken varje kemisk förening består av en positivt och en negativt laddad del.
År 1835 presenterade han det viktiga begreppet katalys, det vill säga den förändring som inträffar i en reaktion genom närvaron av en främmande kropp.
Efter Berzelius död tog Vetenskapsakademien initiativ till en insamling för att hedra hans minne med en staty. Efter tio år hade de fått ihop en tillräcklig summa för att ge konstnären Carl Gustaf Qvarnström uppdraget att utforma statyn. Den blev placerad i den park i Stockholm, som därefter blivit kallad Berzelii park. Även Linköping har i domkyrkoparken en mindre Berzeliusstaty.