James era o terceiro de oito filhos de um ex-dançarino que trabalhava na indústria automobilística. Era sobrinho de Melvin Franklin, vocalista do grupo The Temptations. Com 15 anos, James ingressou na Reserva Naval. Quando isto passou a interferir em sua carreira musical, ele começou a faltar nos treinamentos no quartel aos finais de semana. Ele foi considerado "ausente sem permissão" do serviço militar e fugiu para Toronto, no Canadá. Lá, ele continuou sua carreira musical e formou uma banda chamada The Mynah Birds, a qual tinha também Neil Young e Bruce Palmer como integrantes. Os processos voltaram a rondá-lo quando seu sucesso o levou de volta aos Estados Unidos, onde foi preso e cumpriu pena por deserção. Depois de solto, James passou algum tempo no Reino Unido, onde integrou um grupo chamado Main Line. Em 1977 ele retornou aos EUA e foi trabalhar com a gravadora Motown, no início como compositor, depois como cantor e produtor. James foi mais produtivo no fim dos anos 70 e início dos 80. Foi cantor, tecladista, baixista, produtor, arranjador e compositor. Tocava principalmente com a sua banda, a Stone City Band.

O primeiro sucesso de James foi You And I, uma gravação de 8 minutos em seu primeiro álbum, de 1978, Come Get It, do qual fazia sua parte sua ode à marijuana chamada simplesmente Mary Jane.

Em 1979 James lançou dois álbuns: Bustin' Out Of L Seven, em janeiro e Fire It Up na segunda metade do ano. Depois do pouco brilhante álbum Garden Of Love de 1980, gravou um álbum conceitual chamado Street Songs. Este incluiu seu grande sucessoSuper Freak (o qual serviu posteriormente como melodia de fundo para a música "U Can't Touch This" de MC Hammer, em 1990). Outros sucessos do disco incluíam Give it to Me Baby e Ghetto Life (no mesmo álbum), e ainda Teardrops, Cold Blooded, Ebony Eyes, cantada em parceria com Smokey Robinson, 17 (Seventeen), You Turn Me On e Glow, seu último sucesso de Rhytm'n'Blues (R&B), em 1985. Além disso, ele ajudou a lançar a cantora branca de R&B Teena Marie e também o grupo Mary Jane Girls.