En 1537, un premier château est construit à cet emplacement. Il en reste aujourd'hui la tour Olivier de Lénoncourt et des gargouilles. En 1657, un second château est construit sur l'emplacement du premier. Les griffons sur la façade datent de cette époque. Le comte Charbonnel réalisa une transformation profonde du château, lui donnant l'aspect actuel. En 1928, le château devint propriété de la ville. Aujourd'hui, il est le siège de la Communauté de communes.