Processing.
Нет ничего проще чем использовать базовые конструкции программирования для визуализации простых математических конструкций.
Большой плюс это работа с вертексами 3д.
После курса Processing. можно не бояться работать с Blender3d.
Сcылки на литературу:
1. Getting Started with Processing. Кейси Риз и Бен Фрай. 2010. Rus.
2. Processing 2: Креативное программирование. Ян Вантомм. 2012
3. Processing Creative Coding and Computational Art. Ira Greenberg. 2007