Ayuda con Algoritmo...

Hola como podria generar un codigo en javascript para calcular el random de N numeros pero asegurarme que cada uno de los N numeros son diferentes??

Se que para calcular el entero del random es Math.floor(Math.random()*N) pero no se que me dara el random y cuantas veces se repetira el mismo numero.. un ejemplo para N=5.

quiero hacer una funcion que ejecutando el random me desaloje lo siguiente:

Primera ejecucion de la funcion: 0,1,4,2,5,3
Segunda ejecucion de la funcion:2,0,5,1,3,4
y asi sucesivamente...

no se si entendí bien, pero creo que esto puede servir:
http://foros.cristalab.com/galeria-de-imagenes-aleatorias-t92367/
en lugar de usar un array de imágenes usas uno de números y ya esta

muy bien facil y practico gracias