A l’origine ce lieu était un château du XIIIe siècle. Il était connu sous le nom de château de l’Arbrassart. Il aurait porté successivement diverses dénominations : La Cense du Loquet, Le Fief du Loquet, Pasquier de Lestrèe, Delcourt, Plat-l’Abbé. Le nom « Arbrassart » serait le « Sart-aux-Arbres ». Le château fut occupé par divers hauts personnages comme le Duc de Marlborough pendant la guerre de la Succession d’Espagne en 1709 et le lieutenant général Brezé sous Louis XV en 1745.
Le château abrita divers propriétaires jusqu’en 1908 où il fut acheté par Monsieur Jules Masurelle, industriel Roubaisien et père de Sœur Marie du Christ, Sœur Dominicaine. Cette congrégation religieuse, chassée de France suite à la loi leur interdisant l’enseignement en France, vint s’installer au château. Des transformations de l’ancien bâtiment et la construction d’autres ont permis d’adapter la propriété à ses nouvelles fonctions, à savoir un couvent et un pensionnat pour jeunes filles. La propriété était composée de dépendances, remises, écuries, pavillon, conciergeries, basse-cour, orangeries, serres, parc, potager, étangs, …
Le château accueillit jusqu’à 650 élèves et 450 pensionnaires, principalement des filles de la noblesse du Nord de la France et de la Belgique. Les sœurs inculquaient aux jeunes filles une éducation visant à former l’intelligence, le raisonnement et la culture dans le respect, l’obéissance et la politesse. Les Sœurs étaient peu ouvertes au monde extérieur et vivaient au maximum en autarcie. Les écrits disent qu'elles firent preuve d’actes de bravoure et sauvèrent beaucoup de vies durant la Grande Guerre. Le couvent faisait partie du paysage Froyennois mais l’école et le pensionnat fermeront fin juin 1977 faute d'élèves.
La ville de Tournai fit l’acquisition du domaine en 1978 pour y loger son enseignement spécialisé « Les Horizons Nouveaux » qui fermera en 2005 suite à de graves manquements de sécurité. Par ailleurs, l’association pour personnes handicapées « Horizons Nouveaux asbl » s’installa en 1982 dans une autre partie des locaux.
En 2010, le château fut victime d’un incendie qui ravagea une partie du bâtiment. En novembre 2011, la ville de Tournai mit en vente les ruines du château. Les fils de l'illustrateur renommé Marcel Marlier, François et Jean-Louis devinrent alors propriétaires des lieux.
Depuis mars 2014, les personnes handicapées de l’association « Horizons Nouveaux asbl » ont toutes été relogées dans un des bâtiments situé à côté de l’ancien château. Celui-ci fut entièrement reconçu en structure passive et spécialement aménagé pour personne handicapée par François et Jean-Louis Marlier. Dans un souci d’humanité François Marlier explique : « Nous ne voulions pas le laisser aux mains des promoteurs immobiliers qui auraient pu dénaturer ce quartier de notre enfance. Notre idée avec mon frère est de tenter ici de reconstruire un lieu intergénérationnel, de convivialité où les gens pourront à nouveau se rencontrer et se parler autrement que par les réseaux sociaux. Nous avons décidé de le rénover pour en faire un bâtiment à la fois durable et passif qui permette de mettre de la vie dans le village. Nous avons donc choisi de créer sur 8000 m2 cinquante logements pour une résidence-services à l’intention de personnes âgées et seize appartements familiaux ». En hommage à leur Papa, la résidence prendra désormais le nom de Résidence Marcel Marlier.