Ce bel hôtel particulier fut édifié par Richard François Bonfin, architecte de la Ville, pour Nicolas de Lisleferme (1737‑1821), avocat au parlement de Bordeaux, jurisconsulte, poète et amis des arts, dont le nom est resté au bâtiment.
C'est le 6 mars 1778 que les jurats réunis en conseil, doivent délibérer sur la demande de deux des plus puissants notables de la ville : Jean Valleton de Boissière et son gendre Nicolas de Lisleferme, demande d'autorisation "de faire bâtir une ou plusieurs maisons suivant la décoration dont ils ont produit le plan, entre la salle appelée Bardineau et le Jardin public", alors Jardin royal, conçu et réalisé par Tourny entre 1743 et 1756.
L'hôtel fut achevé, semble-t-il, en 1781 et décoré aussitôt. Les boiseries du salon ovale, représentant les quatre saisons sont attribuées au sculpteur Cabirol. L'édifice avait été conçu comme un hôtel double pour le beau-père et le gendre, de part et d'autre de l'escalier central. Celui-ci est aujourd'hui déplacé côté sud.
L'hôtel Calvet, siège des Sociétés savantes, faisant le pendant à l'hôtel de Lisleferme, fut édifié plus tard, en 1851, réalisant le complément côté sud de l'arrondi de la place Bardineau, entre le Jardin public et la rue Duplessy.