James werd geboren in Nottingham als zoon van Afrikaanse/Trinidadse ouders. Hij groeide op in Zuid-Londen waar hij de middelbare school doorliep aan de Ernest Bevin College. Op tienjarige leeftijd overleed zijn moeder, en hij koos ervoor om samen met zijn broer op te groeien in pleegzorg in plaats van bij familie in Amerika. In zijn tienerjaren was zijn droom om een professionele rugbyspeler te worden, maar toen hij auditie deed voor een toneelspel besloot hij om acteur te worden. Hij ging studeren aan de Guildhall School of Music and Drama in Londen, waar hij in 1988 zijn diploma haalde. James woont nu met zijn vrouw en drie dochters (1990 en 1994) in Los Angeles.
James begon in 1988 met acteren in de televisieserie Screenplay, waarna hij nog meerdere rollen speelde in televisieseries en films. Hij is onder andere bekend van Jericho (2006-2008), Hung (2010-2011) en The Walking Dead (2010-2018).