Garten verkauft, mit Kaufvertrag, gesehen, unter Ausschluss jeglicher Gewährleistung. Nach 3 Tagen möchte Käufer Rücktrittsrecht ,darf er das?

1. "Kleingärten" kann man nicht verkaufen. Bei "Kleingärten" werden üblicherweise beim Eigentümer oder Betreiber einer Kleingartenanlage gemietet. Dies kann ein Verein sein, eine Institution oder auch eine Privatperson
2. Es mag Strukturen geben, da wird tatsächlich ein Grundstück erworben. Dafür bedarf es aber zwingend einen Notar, was hier ja nicht der Fall zu sein scheint
3. Was verkauft werden kann, ist das auf dem Grundstück befindliche Inventar, wie z.B. Pflanzen, Hütte, Grill, Geräte. Details regelt die jeweilige Sitzung.
4. Es gilt der Grundsatz Pacta sunt servanda, Verträge sind einzuhalten, egal ob privat oder Gewerblich. Ein bedingungsloses Rücktrittsrecht gibt es nur im Fernhandel zwischen gewerblichem Händler und Privatpersonen als Käufer.
5. Die gerne bemühte Floskel 'Gekauft wie gesehen' ist Geschmarre. Der Verkäufer hat den Käufer über ihm bekannte Mängel in Kenntnis zu setzen und dem Käufer eine angemessene Begutachtung zu ermöglichen. Verweigert er dies ausdrücklich, käme dies einem Fernhandel gleich. Verschweigt er bewusst Mängel, kann dies sogar als versuchter Betrug ausgelegt werden. Altersschwäche ist nebenbei erwähnt allerdings kein Mangel.

Aussagen wie die Hütte ist mir zu alt, der Standort zu schattig, der mit der Pflege verbundene Aufwand zuviel usw, sind keine Gründe von einem gültig geschlossenen Vertrag zurück zu treten.

Wenn kein Rücktrittrecht vereinbart wurde, gibt es auch keins. Das Gesetz sieht an dieser Stelle jedenfalls keines vor. Sofern der Kauf nicht aus irgendwelchen Gründen unwirksam ist (dergleichen wurde aber bisher nicht vorgetragen), ist der Vertrag voll wirksam.

Ich würde den Käufer höflich auf den Rechtsweg verweisen.

Eigentlich gibt es nur bei Gewerblichen das Rücktrittsrecht [...]

Selbst da nicht uneingeschränkt. Ein Widerrufsrecht bei Verträgen zwischen Unternehmen und Verbrauchern gibt es insbesondere im Fernabsatzrecht. Wenn ich jedoch Möbel vor Ort im Möbelhaus kaufe, habe ich kein Widerrufsrecht.

Habt ihr im Kaufvertrag ein Rücktrittsrecht bzw ein Widerrufsrecht vereinbart?

Was genau hast du denn verkauft? Den Garten also das Grundstück? Dann wäre der Vertrag ohne Notar sowieso nichtig. Oder geht es um die Ablöse für einen gemieteten Garten?

Du wirst besser wissen als wir, was genau im Vertrag steht. Ist dort kein Rücktrittsrecht festgelegt, gibt es auch keins.