Sbírky se začaly formovat díky „Tekstilní a krajinské výstavě“, která se konala v roce 1936 ve Dvoře Králové nad Labem. V letech 1949–1953 byla expozice majetkem města Dvůr Králové nad Labem, následně ji do roku 1962 spravovalo UPM a v letech 1963–2007 královédvorský textilní podnik TIBA. Textilnímu muzeu ve Dvoře Králové nad Labem byla v minulém století vyhrazena část Mayerovy továrny, později část Neumannovy vily v dnešním Safari Parku, kde byly umístěny také sbírky městského muzea. Po uzavření Muzea textilu v České Skalici, k němuž došlo v roce 2017, je část sbírek zpátky ve Dvoře Králové nad Labem, který má bohatou historii textilního průmyslu a v minulosti se mu také proto říkalo „český Manchester“.
