Ved etableringen af Tønder Museum i 1923 fik Tønders del af den danske stats gave til sønderjyderne, Kunstnergaven af 1920, et permanent udstillingsrum. Der blev i årevis ikke ændret meget ved udstillingen, men i respekt for det initiativ, der var taget i Tønder, voksede kunstsamlingen med donationer fra private og ikke mindst fra Ny Carlsbergfondet. Derfor opstod på et tidspunkt forslag om at udskille kunstsamlingen og tilføje en ny bygning alene til billedkunsten, men stadig under samme tag som det kulturhistoriske Tønder Museum.
Anden Verdenskrig og vekslende politisk interesse førte til, at der først ved dannelse af fjorten storamter i 1970 kom skred i planerne. Det nye store Sønderjyllands Amt satte trumf på kultur og forblev det af samtlige amter, der altid havde det største kulturbudget.
Haderslev burde vel egentlig have været amtets hovedstad, men der var man ikke så helt langt fremme i skoen, og Aabenraa blev den nye amtsby, mens Haderslev fik nogle plastre på sårene eksempelvis i form at et storsygehus. Sønderborg og Tønder skulle da være byerne, der manifesterede fokus på kultur.
I Sønderborg havde ildsjælen Hakon Elmer skabt et symfoniorkester, som nu fik landsdelsstatus som Sønderjyllands Symfoniorkester. Tilbage var Tønder, som til manges forundring (især på østkysten) blev kunstens centrum i landsdelen med dannelsen af Danmarks første landsdelskunstmuseum, Sønderjyllands Kunstmuseum, der indviedes i 1972 fysisk forbundet med Tønder Museum.
Kun ganske få steder i Danmark eksisterer der stadig som med Museerne i Tønder et kultur- og kunsthistorisk museum under samme tag. Med dannelsen af Museum Sønderjylland ved nedlæggelsen af de fjorten amter i 2007 ændredes intet ved bofællesskabet, men Tønder Museum mistede som 84-årig sit oprindelige navn og det gjorde Sønderjyllands Kunstmuseum også. Til gengæld kom Danmarks ældste købstads navn på facaden: Kunstmuseet i Tønder
Da et længe næret ønske om at stifte en forening for kunstinteresserede blev realiseret i 2004 var det under medvirken af interesserede fra hele det daværende Sønderjyllands Amt og med en bestyrelse sammensat af medlemmer fra hele landsdelen. Derfor var venneforeningens navn oprindelig Sønderjyllands Kunstmuseums Venneforening.
Med dannelsen af Museum Sønderjylland ændredes foreningens navn til Venner af Kunstmuseet i Tønder. Foreningens bestyrelse har i dag hjemsted i Tønder, men foreningen tæller ikke kun medlemmer i Tønder, men også i det øvrige Sønderjylland samt medlemmer bosat uden for landsdelen, fordi man enten ønsker at støtte museet og dets aktiviteter og/eller har familiær tilknytning til landsdelen, men der er sågar også medlemmer bosat i udlandet.