Sleep deriva de la banda Asbestosdeath, formada por Al Cisneros, Chris Hakius y el guitarrista Tom Choi. Asbestos Death se expandió a un cuarteto al incorporar a Matt Pike en guitarra. Con esa formación grabaron dos sencillos, "Dejection for Profane Existence" y "Unclean". Después de aquello Choi renunció, entrando Justin Marler como reemplazo y decidieron cambiar su nombre a Sleep.
Tocaron su primer show en la sala de estar de una pequeña casa en San José. Sleep debutó en 1991 con su álbum "Volume One" grabado en una pequeño sello de San Francisco llamado "Tupelo". Posteriormente Marler abandona la banda para hacerse monje, dejando a la banda como un power trío para la grabación de su EP Volume Two, que fue lanzado de manera no oficial por Off The Disc Records en 1991.
El siguiente álbum de la banda fue enviado al sello independiente Earache, como un demo. Grabado en Razors Edge studios en San Francisco, con Billy Anderson en la producción, la cinta mostró el amor de Sleep por las cosas retro, con la influencia evidente de Black Sabbath y Blue Cheer. El sello inmediatamente contrató a la banda y lanzó el disco tal cual fue recibido.
Sleep's Holy Mountain (1992) es ampliamento considerado como un álbum seminal en la evolución del stoner metal. El lanzamiento del álbum fue seguido por una oferta potencialmente lucrativa del sello London Records, y Sleep firmó con ellos. En esas fechas Earache realizó el primer álbum tributo a Black Sabbath, al cual Sleep contribuyó con su versión de "Snowblind".
Bajo ese nuevo contrato, comenzaron a trabajar en su tercer álbum, Dopesmoker, en 1995. Para el desánimo de los ejecutivos de London records, Dopesmoker fue una sola canción de más de un hora de duración. London Records declaró que el álbum era invendible y se rehusó a lanzarlo. Ellos lo retitularon Jerusalem, re-escribieron algunas de las letras y lo recortaron a unos "magros" 52 minutos, pero fue esencialmente el mismo Dopesmoker. London Records de nuevo se rehusó a lanzarlo. Frustrados y tristes por la situación, los miembros de Sleep decidieron disolver la banda.
En 1998, Jerusalem fue lanzado como "bootleg oficial" por un amigo de la banda. Sleep y su ex-manager tenían pleno conocimiento de esto y dieron su aprobación. En 1999, Jerusalem fue lanzado oficialmente por The Music Cartel en los Estados Unidos y Rise Above Records en Europa.
Finalmente, en 2003 la versión original de Dopesmoker fue lanzada oficialmenye por Tee Pee Records. Generalmente es considerada la versión definitiva del álbum. Extractos de una versión se pueden oír en la banda sonora de Broken Flowers de Jim Jarmusch.
Cisneros y Hakius formaron la banda de rock experimental Om mientras que Pike formó la banda de heavy metal High On Fire.
En 2007 un compilado se lanzó un compilado de la banda pre-Sleep, Asbestosdeath
