KaffeLaden har til huse i en smuk bevaringsværdig bygning fra 1904 opført af Marius Fjeldsted. Fra 1925 til 1963 lå et meget anderkendt konditori ved navn Karoline, drevet og ejet af Karoline Poulsen. Fra 1963 og frem til lukning i 1973 var  konditoriet forpagtet ud. “Karolines” var nærmest en institution i Holstebro by, hvor det bedre borgerskab drak kaffe med kage. Når borgere fra landet tog til byen, var det sædvane at tage stadstøjet på og besøge Karoline konditoriet. Også i dag kaldes bygningen i folkemunde “Karoline bygningen”.

I KaffeLaden hænger billeder fra datidens konditori.