würde einen ziemlich deutlichen Brief schreiben - am besten eingeschrieben. Darin würde ich vermerken, dass er seinen Teil des Vertrages nicht einhalten kann und der Vertrag deswegen nichtig ist.
Ein nichtiger Vertrag verpflichtet den Empfänger eines Betrages diesen unverzüglich (und mit Zins) zurückzuüberweisen. Wenn sich der Architekt bzw. der Verkäufer weiterhin weigern würde ich sofort einen Anwalt einschalten.
Da Du ja eh nicht mit ihm ein Haus bauen willst kannst Du Dir die netten Worte sparen. Auch muss ich sagen, dass Du in 1 oder 2 Jahren sicherlich froh sein wirst, nicht mit dem Architekten gebaut zu haben. Stell Dir vor was sonst noch alles passiert wäre während des Baus, wenn schon die Planung schieff geht...