På en af Lemvigs smukkest beliggende grunde ved Limfjorden lå tidligere byens gamle sommerrestaurant. Den nedbrændte, og ved hjælp fra bl.a. by, amt og private fonde byggede man på grunden i 1994 første etape af kunstmuseet. Udvidelsen kom til allerede i 1998, således at der blev plads til skiftende udstillinger. Bag museet løfter sig de tæt bevoksede skrænter, der beskytter mod vestenvinden, og foran museet ligger fjorden med indsejlingen til Lemvig Havn.