Le nom du Domaine des 3 Moulins tire son origine des vestiges de 3 Moulins sur la propriété. Un premier Moulin mut par l’eau est construit en 1690 puis successivement, un Moulin à scie en 1725 et un autre sur la Rivière-à-Matte en 1768. C’est ainsi qu’en 1802  sur cette même rivière on pouvait dénombrer 3 Moulins:  À scie, à grain et à carde.

En 1858, un important Moulin est construit à l’embouchure de la Rivière-à-Matte, ainsi qu’un quai sur pilotis de 1,500 pieds où peuvent accoster les navires. On y moud du grain provenant des États-Unis, ce qui permet d’expédier la farine en Angleterre sans taxes.