Toen notaris Charles Guillon, tevens lid van de gemeenteraad, in 1857 op verzoek van het stadsbestuur een plan ontvouwde voor de herinrichting van het Munsterplein, lagen ten westen van de kerk nog een brouwerij-stal en de stedelijke gevangenis, het “arresthuis”. Deze gevangenis bevond zich ongeveer op de plaats waar nu de muziekkiosk staat, de brouwerij stond ietsjes terug, in de richting van de Munsterstraat.
Dat arresthuis had eeuwenlang (minstens vanaf medio de vijftiende eeuw) dienst gedaan als woning van de abdissen van de Munsterabdij, een gegeven dat in de tijd van Guillon wel bekend was maar waar men geen al te grote consequenties aan verbond. Nadat op 23 februari 1863 de gevangenis aan de Pollartstraat in gebruik werd genomen, werd er tenminste niet lang gewacht met de afbraak van het oude huis van bewaring. In april 1865 ging het voormalige abdissenhuis tegen de vlakte, evenals de brouwerij. Vanaf die tijd bestaat het Munsterplein als een open stadsruimte.
Hoewel er over de inrichting van het Munsterplein jarenlang is gesoebat, en er verschillende plannen voor herinrichting werden gepresenteerd, werd gemakkelijk besloten tot de sloop van het historische abdissenhuis. In elk geval was er een groot contrast, vergeleken met de rellerige sfeer die de restauratie van de kerk (in de jaren 1860) en de afbraak van het zogenoemde Oude Klooster (in 1924) begeleidden.
Een jaar na de sloop van arresthuis en brouwerij werd het vrijgekomen terrein beplant met sierbomen die waren geschonken door baron de Keverberg van Aldenghoor in Haelen.
MUZIEKTENT
Over een muziektent praatte in die tijd nog niemand. Pas twintig jaar later, in 1885, vond op het stadhuis de openbare aanbesteding plaats die korte tijd later werd gevolgd door discussies in de gemeenteraad over het plan dat was ingediend door het atelier Cuypers en Stoltzenberg.
Toch werd er in die tijd flink gemusiceerd. Al in 1830 boekte de Koninklijke Harmonie in Brussel een succes waarop de muziekvereniging nog decennialang vol trots op terugblikte. Regelmatig verzorgde de harmonie uitvoeringen in verschillende zalen, maar ook in de open lucht. Dat laatste gebeurde bijvoorbeeld in de grote tuinen van de welgestelde burgerij, waar men dan tegen betaling een uitvoering kon bijwonen. In de zomermaanden vond iedere zondag een concert plaats in de tuin van de Harmonie in de Voorstad, of in de tuin van Van Wijlick aan de overkant van de weg.
Voor Cuypers was het bouwen van de kiosk een soort herhaling van zetten. In 1847, toen hij nog studeerde aan de Academie voor Schone Kunsten in Antwerpen, ontwierp hij al een kiosk voor de Koninklijke Harmonie. De opdracht was waarschijnlijk een wederdienst aan de stad, die hem had bedeeld met een studiebeurs. De tegenwoordig niet meer bestaande kiosk, werd in de Voorstad geplaatst in de tuin van de Harmonie. Die tuin lag aan de Kiezelweg naar Herten, ter hoogte van het Klein Hellegat. Het was een zeshoekig gebouwtje met neogotische motieven dat gedeeltelijk werd uitgevoerd in gietijzer, destijds een relatief nieuw bouwmateriaal. De uitvoering van het gietijzeren gedeelte berustte misschien bij de Roermondse ijzerfabrikant Giesbers.
De kiosk die meer dan veertig jaar later op het Munsterplein verrees was groter van opzet, maar was evenals de kiosk voor de Harmonietuin grotendeels gemaakt van gietijzer. Het is een twaalfzijdig gebouw met een onderbouw van gecementeerde baksteen. Op alle twaalf hoeken van de onderbouw staan gietijzeren zuilen, die aan de onderkant met elkaar worden verbonden door een smeedijzeren hekwerk en aan de bovenkant met fraai opengewerkt zogenoemd “ajour-gietwerk”. Het geheel is overspannen met een houten, afgevlakte koepel.
Met name na de bouw van de kiosk deed het middenin de stad gelegen Munsterplein de Markt concurrentie aan als centrum van het Roermondse uitgaansleven.