Kavinsky ilk albümünden önce üç EP yayınladı: 2006 yılında Teddy Boy, ertesi yıl 1986 ve 2010’da Nightcall. Nightcall 2011 yapımı Drive filminin Ryan Gosling ve Carey Mulligan’ lı yolculuk sahnelerine en yakışan müzik oldu, 2013 yılında yayınlanan ilk albüm Outrun’un baş köşesinde de yine o var.
