Wenn jemand eine Bankvollmacht über den Tod hinaus hat, aber nicht der Erbe ist, kann die Person jederzeit Geld abheben vom Girokonto und Sparbuch?

Ja, uneingeschränkt.

Aber hinterher kommen halt ggf. die Erben und fragen nach.

Die Wirksamkeit einer Bankvollmacht im Todesfall kann unterschiedlich gewichtet werden. Die transmortale Bankvollmacht ist auch über den Tod des Kontoinhabers gültig. Somit darf der Bevollmächtigte auch nach dem Tod des Vollmachtgebers über das Konto verfügen. In Deutschland wird diese Art der Bankvollmacht am häufigsten verwendet.
Bei der prämortalen Bankvollmacht darf der Bevollmächtigte bis zum Todesfall über das Konto des Vollmachtgebers verfügen. Die Vollmacht erlischt automatisch bei Eintreten des Todesfalls. Für Banken ist diese Art der Vollmacht mit dem Risiko verbunden, dass sie über das Versterben des Kontoinhabers nicht informiert werden und der Bevollmächtigte weiter auf das Konto zugreifen kann. Zu Lebzeiten kann außerdem die sogenannte postmortale Kontovollmacht erteilt werden. Diese erlaubt dem Bevollmächtigten erst nach dem Tod des Vollmachtgebers auf das Konto zuzugreifen.

https://www.bestattungsplanung.de/vorsorge/bankvollmacht.html

Die Person kann es, darf es aber im Innenverhältnis zum Erben nicht. Man sollte die Tragweite derartiger Handlungen nicht unterschätzen: Wenn sich jemand aufgrund einer bestehenden Vollmacht aber letztlich unberechtigt Geld aneignet kann das eine Untreue im Sinne des § 266 StGB sein.