Karl Steins родился 22 мая 1919 года в Ганновере, где он с 1935 по 1938 годы посещал местную Консерваторию. В военные годы выступал гобоистом в оперных театрах Ганновера и Бухареста. После войны работал в Бремене и Киле, пока в 1949 году не стал солистом-гобоистом Берлинского филармонического оркестра, сначала под руководством Wilhelm Furtwängler, а затем, после смерти Furtwängler в 1955 году, – под управлением Herbert von Karajan. До ухода на пенсию в 1981 году Karl Steins оставался участником этого коллектива и принял участие в записи эпохальных пластинок.