Hafnarborg, menningar- og listamiðstöð Hafnarfjarðar, var stofnuð 1. júní árið 1983, á 75 ára kaupstaðarafmæli Hafnarfjarðar.

Stofnendur Hafnarborgar voru hjónin Sverrir Magnússon lyfsali og Ingibjörg Sigurjónsdóttir lyfjafræðingur. Þau afhentu bænum með gjafabréfi húseignina að Strandgötu 34 ásamt veglegu safni listaverka og bóka.

Sverrir og Ingibjörg kváðu um að í húsinu skyldi starfa menningarstofnun með það að markmiði að efla lista- og menningarlíf í Hafnarfirði. Þar ætti að vera listaverkasafn, sýningarsalir og gestavinnustofa fyrir listamenn, auk þess sem húsið yrði vettvangur fyrir tónleikahald. Þau ákváðu einnig að nafn stofnunarinnar yrði Hafnarborg, eftir verslun sem þau hjónin ráku um hríð við hlið apóteksins.

Hafnarborg var formlega vígð 21. maí 1988, eftir að viðbyggingin hafði verið reist. Vígslan fór fram við hátíðlega athöfn að viðstöddu fjölmenni. Þá lýsti Þorsteinn Pálsson, þáverandi forsætisráðherra, stofnunina formlega opnaða. Í tilefni af opnun safnsins voru Hafnarborg færðar gjafir: portrettmyndir af Sören Kampmann, Ingibjörgu Sigurjónsdóttur og Sverri Magnússyni. Öll portrettin voru máluð af Eiríki Smith listmálara. Einkasýning Eiríks Smith var opnunarsýning safnsins en Eiríkur var borinn og barnfæddur Hafnfirðingur. Við það tilefni sýndi hann 31 olíumálverk og 33 vatnslitamyndir.

Húsið var upphaflega hannað af Guðjóni Samúelssyni arkitekt, eitt af fyrstu verkum hans, og lauk byggingu þess árið 1921. Líkt og í öðrum verkum Guðjóns frá þessum tíma gætir áhrifa nýbarokks og norrænnar þjóðernisrómantíkur, eins og sést á bogum og syllum á hliðinni sem snýr að Strandgötu. Húsið var hannað sem apótek og íbúðarhús fyrir Sören Kampmann lyfsala en árið 1947 tóku Sverrir og Ingibjörg við rekstrinum og ráku Hafnarfjarðarapótek þar til 1984. Þau létu gera nokkrar breytingar um og eftir miðja öldina, samkvæmt teikningum Rögnvaldar Johnson arkitekts.

Hafnarborg samanstendur í dag af þremur húshlutum. Hver hluti hefur sín sérkenni sem tengjast byggingartíma og þeirri starfsemi sem þar fer fram. Afhending hússins fór fram í áföngum og síðasti hlutinn sem tekinn var í notkun var rýmið þar sem apótekið var áður til húsa.

Gamla apótekið var á jarðhæð í miðju gamla hússins með inngangi frá Strandgötu. Þegar Hafnarfjarðarapótek flutti í Fjörð um miðjan tíunda áratuginn varð rýmið þá fundarsalur bæjarstjórnar Hafnarfjarðar. Salurinn er einnig nýttur fyrir námskeið, fundi og fyrirlestra.

Á efri hæð gamla hússins er skrifstofa starfsfólks, auk gestaíbúðar í risi sem er leigð út til myndlistarmanna. Í stofum sem eitt sinn snéru út að höfninni (en snúa nú að gluggum inn í aðalsal safnsins) eru fræðslustofur. Þær eru nýttar undir listræna starfsemi og sem upplýsinga- og fræðslurými fyrir gesti. Árið 2015 voru stofurnar gerðar upp og bætt við möguleikum við starfsemina. Þar er nú hluti bókasafns Hafnarborgar, auk þess sem hægt er að miðla hljóð- og myndefni án þess að trufla sýningar.
Til suðvesturs er stór viðbygging, reist í áföngum á níunda áratugnum og hönnuð af Ingimar H. Ingimarssyni arkitekt. Þar er afgreiðslu- og veitingarými á jarðhæð og sýningarsal á 2. hæð. Við hönnun viðbyggingarinnar var reynt að brúa bilið milli hins gamla og nýja með því að endurtaka ákveðin form gamla hússins í anda póstmódernisma.
Á jarðhæð, við suðurhlið apóteksins, er sýningarsalur sem opnaði árið 1990 og nefnist Sverrissalur, eftir Sverri Magnússyni. Hann tengist anddyri sem leiðir inn í veitingarýmið með stórum, bogadregnum gluggum sem snúa að bílastæðinu við Fjörð og setja mikinn svip á húsið.