Gegenfrage, wieso bist du dir denn so sicher, dass Matlab mehr Arbeitsspeicher braucht als es bei deinen Rechnungen belegt? Wenn es nicht gerade eine ältere Version von Matlab ist, die noch 32 bit Code ausführt, so dass wirklich nur 4 GB gleichzeitig adressiert und genutzt werden können (dann würde das Programm allerdings abstürzen, wenn es mehr als 4 GB Arbeitsspeicher benötigt), sollte Matlab die vollen 8 GB nutzen können, wenn es denn entsprechend viel Arbeitsspeicher benötigt. Zum Test kannst du ja mal große Matrizen generieren und schauen wie sich der Arbeitsspeicher füllt.
Ansonsten ein kleiner Tipp: Die Berechnungen können immer nur so schnell durchgeführt werden, wie der aktuelle Flaschenhals es zulässt. Bei zu wenig Ram, würde der Mac die Festplatte als "Ramersatz", dann wäre in der Regel die Lese- und Schreibgeschwindigkeit der Festplatte der Flaschenhals (mit weiteren Berechnungen müsste gewartet werden, bis die nötigen Daten von der Festplatte gelesen sind oder dort abgelegt wurden). Dann hilft in der Tat der Einbau von mehr Ram, da das System auf diesen viel schneller zugreifen kann (viel schneller Daten speichern und lesen kann). Ist genug Ram vorhanden, ist in der Regel die CPU der begrenzende Faktor oder ein schlechter Algorithmus, der vielleicht nur auf einem Kern läuft und nicht parallelisierbar ist. Das ist dann daran zu erkennen, dass entweder alle Kerne voll ausgelastet sind oder aber eben nur ein Kern und der Rest sich langweilt.
