Listaverkasafn Hafnarborgar er að grunni til listaverkagjarfir. Stofnendur Hafnarborgar, þau Sverrir Magnússon lyfsali og kona hans Ingibjörg Sigurjónsdóttir lögðu grunn að safninu með listaverkagjöf sinni árið 1983. Eiríkur Smith færði safninu stóra listaverkagjöf árið 1990 og einnig gáfu þeir Elías B. Halldórsson og Gunnar Hjaltason safninu eintök af grafíklistaverkum sínum. Fleiri listamenn og einstaklingar hafa fært safninu listaverk að gjöf og einnig eru keypt verk til safnsins eftir því sem fjárveitingar leyfa.