Nacido en Boston, comenzó su carrera musical tocando el piano en varios estilos, incluyendo música clásica, jazz, pop, R&B y gospel. Estudiando con el protegido de Bill Evans, Graig Najjar, Levine pronto adquirió notoriedad como intérprete, líder de una banda, compositor, productor y arreglista. En 1991, Levine ganó el premio Reebock Human Rights Songwriting Award por su trabajo titulado "Freedom". Mientras estudiaba en la Tufts University consiguió el premio Ted Shapiro por su tesis, "James Levine Presents a Gospel Music Experience", un concierto inspirador que presentaba al coro baptista de Boston, Morning Star Baptist Church Gospel Choir, a quien Levine continúa citando como inspiración musical.

En 1997, Levine obtuvo atención como compositor por su trabajo en una campaña publicitaria de The Boston Golbe, "Buxleys World", con el que obtuvo dos premios England Broadcasting Association Awards y un premio ADWEEK Top 50 of 1997 Award.

Tras su éxito en la publicidad, Levine se trasladó a Los Ángeles donde empezó a trabajar en Media Ventures, el mayor estudio musical de la industria del cine y la televisión, fundado por el ganador del premio de la Academia, Hans Zimmer.