Falsche Angaben über Grundstücksgrenzen

Wir haben vor gut drei Jahren ein Grundstück mit Haus gekauft. Bei der Begehung hat uns der Verkäufer durch den Garten geführt. Dieser war nicht durch einen Zaun, sondern durch eine offensichtlich angelegte und gepflegte Rasenfläche und am vermeintlichen Rand gesetzte Büsche begrenzt. Auf unsere Frage nach den Grundstücksgrenzen deutete der Verkäufer in der Verlängerung der Rasenkante einen stark eingewachsenen Hang - es ist ein Hanggrundstück - hinunter und meinte, dort unten müsste irgendwo der Grenzstein sein. Ich habe ihn dann vergeblich gesucht und schliesslich aufgegeben (naja - habe halt an der falschen Stelle gesucht, wie sich später herausstellte). Nun wollten wir kürzlich einen Zaun setzen und uns sicherheitshalber nochmals beim Verkäufer rückversichern, wo denn genau die Grundstücksgrenze liegt. Freundlicherweise kam er auch bald mit seiner Ehefrau vorbei und hat dann zielsicher auf die im Hang (den ich mittlerweile ausgelichtet hatte) befindliche Grenzsteinmarkierung (Metallstab), sowie auf der gegenüberliegenden Seite auf eine Markierung im Randstein (von der er vor drei Jahren aber nichts gesagt hatte) gedeutet. Das Problem ist aber, daß die so gekennzeichete Grundstücksgrenze sieben Meter vor der ursprünglich angegebenen Grundstücksgrenze liegt - und somit unser Garten in der entscheidenden Ausrichtung nur noch halb so gross ist. Das Grundstück jenseits davon - ausgewiesen als Grünfläche innerhalb eines Naturschutzgebietes - gehört auch dem Verkäufer. Die "gnädige Frau" meinte dann noch, sie hätten deshalb ja den Garten extra grösser angelegt, weil ihnen der nicht zum Grundstück befindliche Teil auch gehöre. Auf unsere enttäuschte Reaktion hin verwies er nur auf die im Kaufvertrag beschriebene Grundstücksgrösse. Die mag zwar richtig sein, aber beim Verkaufsgespräch war er ja nicht in der Lage zu beschreiben, wo die eigentlichen Grenzen liegen. Die mittlerweile von uns kontaktierte Maklerin, die den Kauf damals abgewickelt hatte, bestätigte uns, dass sie die Grundstücksgrenzen damals exakt genauso aufgefasst hatte, wie wir. Wir wollten das Thema einvernehmlich regeln, aber der Verkäufer gab uns auf mehrmalige Bitte hin keinen Hinweis darauf, was er für den fraglichen Grundstücksteil verlangen würde, und auf meinen Hinweis auf den Bodenrichtwert (3 € / qm für landw. Nutzfläche) reagierte er extrem "eingeschnappt". Mittlerweile hat er auch gesagt, daß er nicht verkaufen wolle. Das Ganze ist für uns sehr ärgerlich: wir haben zwei kleine Söhne und jetzt einen Garten, der gerade mal für Schaukel und Sandkiste reicht. Hätten wir die wahren Ausmasse des Gartens beim Kauf gekannt, hätten wir wohl nicht gekauft. Hat jemand schon mal ähnliche Erfahrungen gemacht? Für einen Hinweis, wie wir vorgehen können, wären wir sehr dankbar. Kann man davon ausgehen, dass wir dem Verkäufer zumindest eine arglistige Täuschung nachweisen können - als Indiz die Aussage der Maklering bzw. die Anlage des Gartens?