Johannes Mikkelsen родился в 1942 в Ютландии. Сначала он изучал медицину, но в итоге получил образование пианиста и дирижёра. В 1969 году Mikkelsen дебютировал в качестве концертного пианиста в Копенгагене, в Королевской музыкальной школе. Затем он стал руководителем хора и дирижёром Оперы Ютландии в Aarhaus. Кроме того, Mikkelsen являлся преподавателем и художественным директором и дирижёром в Королевской опере в Копенгагене. В 1978 году он стал ассистентом-дирижёром генерального музыкального директора Государственной оперы Ганновера George Alexander Albrecht. Mikkelsen также регулярно ассистировал на вагнеровском фестивале в Bayreuth. Спустя 4 года он возглавил хор Nederlandse Opera Amsterdam. Последовало трудоустройство в Théâtre Royal de la Monnaie в Брюсселе и во Франкфуртской опере, где он с 1992 по 1998 годы также являлся директором хора. В 2006 году Mikkelsen вышел на пенсию.