La première mention du château de Mirebel date de 1172. Jusqu'au XVe siècle, le château, les terres et les droits s'y rattachant, sont la propriété de la maison de Vienne. En 1280, Jean Ier, fils d'Hugues de Vienne, en fait son lieu de séjour habituel, comme son petit-fils, Henri de Vienne de 1364 à sa mort. En 1422, à la mort de Jean de Vienne, le fief de Mirebel passe à la famille de Chalon-Arlay. Le château est en partie ruiné par les armées de Louis XI, en 1479. Il sert alors de tour de guet, jusqu'à sa destruction définitive par les troupes d'Henri IV en 1595 qui abattent la tour qui restait debout.