Extendiendo el modelo de programación de MPI - Fernández, Jacqueline (2004)
En el Modelo de programación definido por la librería MPI, una computación comprende uno o más procesos, los cuales se comunican a través de mensajes. Los procesos envían y reciben mensajes entre sí. En la mayoría de las implementaciones MPI, un número fijo de procesos es creado al inicio del programa. Cada proceso puede ejecutar distintos programas, de aquí que muchas veces se referencia al modelo de programación como MIMD (Múltiples Programas Múltiples Datos)