Darf man sich von einer Baustelle einen Stein einfach mitnehmen, der auf dem Müllhaufen liegt?

Nein. Auch Müll hat einen Eigentümer.

Bei vielen Läden wird man für das plündern einer Mulde sogar angezeigt.

Frag einfach nach, ob Du den Stein mitnehmen darfst.

So banal es klingen mag Nein.
Selbst der Schutt bzw Müll ist Eigentum vom bauherrn und somit wäre es Diebstahl und eine Straftat

Nein, das wäre Diebstahl, auch Müll hat einen Eigentümer. Du kannst doch aber die Angestellten fragen, wenn es sowiso Müll ist wird niemand nein sagen. 

Nein darf man nicht. 

Aber nur die wenigsten würden sich darüber beschweren. 

Nur, wenn dir der Müllhaufen gehört. Alles andere ist Diebstahl. Slebst Sperrmüll mitnehmen ist Diebstahl. Er gehört dem Entsorgungsbetrieb.