Tolliver inició su carrera en 1964 junto a Jackie McLean, grabando para Blue Note y fue, durante algún tiempo, el trompetista imprescindible de Max Roach. En sus casi 50 años de carrera no ha parado de cosechar éxitos no solo como intérprete y líder de bandas sino también como arreglista y compositor. Cuando a Dizzy Gillespie le preguntaron cuál era el trompetista que más le gustaba; no dudó ni un momento: Charles Tolliver.