Suivant la configuration habituelle des places fortes médiévales, Epoisses formait un ovale irrégulier. De hautes murailles, flanquées de cinq demies-tours, constituaient une première enceinte que des fossés pleins d’eau isolaient du village et de la campagne.

Un seul passage donnait accès à la basse-cour par un pont-levis. Passé le porche, on se trouvait dans un véritable petit village intérieur. En effet les habitants de la seigneurie qui le désiraient édifiaient dans la basse-cour des maisons qui leur appartenaient et où ils s’installaient avec leur famille et leurs bêtes en cas d’imminent danger. Ils engageaient leurs récoltes dans les greniers de ces maisons ou dans ceux du château, hors d’atteinte des pillards. En échange de cette protection, ils avaient la charge d’entretenir les fortifications, chacun payant les frais selon ses moyens ; de plus, en cas de danger, ils devaient faire le guet et monter la garde, obligation qui n’allait pas sans contestation, surtout dans les périodes paisibles. Ces maisons étaient petites : une ou deux pièces, grenier, local pour bétail.

Le château constituait une deuxième enceinte dans la moitié Ouest du grand ovale. Il formait un octogone irrégulier, flanqué de sept grosses tours couronnées de créneaux et reliées par des courtines surmontées d’un chemin de ronde. Autour, un large et profond fossé plein d’eau interdisait toute approche. On accédait à la cour intérieure par un pont-levis, transformé en pont dormant au XVIIe siècle. De l’autre côté de la cour une passerelle en bois munie aussi d’un pont-levis permettait de communiquer avec les défenses de la première enceinte. Quand ces ponts-levis étaient relevés et la herse abaissée, la cour était inaccessible. Pas d’ouvertures vers l’extérieur, seulement quelques meurtrières d’où l’on surveillait les alentours et tirait sur les assaillants.

À l’intérieur de la cour, appuyés au mur de défense, des bâtiments contenaient, au midi, la cuisine et ses dépendances, une très grande cave où le seigneur et les villageois conservaient leur vin. Puis des pièces de service : chambre de la farine, four à pain, prison. Au-dessus, d’immenses greniers abritaient les récoltes de tous. Dans les tours étaient les appartements du capitaine, du procureur d’office et autres officiers de la seigneurie. Enfin, il y avait une chapelle ; la chapelle actuelle, qui remonte au XVIIe siècle, a remplacé un autre édifice plus ancien. Les bâtiments au Nord, ceux qui ont survécu à la furie révolutionnaire, semblent avoir toujours été le logis du seigneur, de sa famille et de son nombreux personnel. Ils comportaient de vastes salles dont toutes les fenêtres donnaient sur la cour.