Da bist du mit dem Mac ziemlich falsch beraten. Dazu braucht es ein intelligentes Gateway mit Traffic Shaping, Packet Inspection, Queing, Quality of Service, etc.
Im Kernel von OSX sind leider nicht die nötigen Kernel-Features aktiviert, auch die Server-Version von OSX hilft da kaum.
Bist du technisch sehr versiert, dann setze dir ein eigenes Gateway auf, z.B. Gentoo-Linux oder OpenBSD.
Andernfalls rate ich dir zu einem wirklich guten Router, der Quality of Service und IP-Telefonie unterstützt. Erfahrungsgemäß kann ich die top-Router von Lancom empfehlen.
Netgear hat einen neuen herausgebraucht, der einen recht vielversprechenden Eindruck macht, doch er ist in Deutschland noch nicht erhältlich und es fehlen noch Erfahrungsberichte, um das Produkt wirklich empfehlen zu können.
Recht einfach und nur ein Notbehelf könnte z.B. throttled sein:
http://www.macupdate.com/info.php/id/7570
Gibt es auch als Shareware und mit GUI:
http://www.macupdate.com/info.php/id/17967
Leider kann throttled wirklich nur auf IPFW-Basis per Port managen und das lässt sich durch einen User recht einfach umgehen.
Traffic-Shaping und QoS ist sehr komplex und erfordert viel Können, um es richtig einzusetzen. Damit du mal sehen kannst, was dich unter Gentoo erwarten würde:
http://gentoo-wiki.com/HOWTO_Packet_Shaping
Hope this helps.