Ja. Die kannst du theoretisch auch so gefahrlos löschen.
Nur wenn du über die Fotos App einzelne fotos löschst wird der Löschbefehl für diese Fotos an die iCloud Übertragen.
Einfach so durch dateien im Finder verschieben/entfernen geht das nicht. (Achtung: Gilt für Fotos - bei Dateien/iCloud Drive sieht das anders aus)
Die Mediathek als ganzes kann gelöscht werden. Im schlimmsten fall wird sie neu angelegt, falls die Fotos Mediathek noch aktiviert ist.
Das ist ja auch die standard Fehlerbehebung bei Cloud Problemen: Löschen und neu Herunterladen lassen.