В кінці 70-х гітаристи Ханко Шерманн і Майкл Деннер грали в маловідомій в Європі, але досить відомої у себе вдома в Данії панківської команді "Brats". Коли група успішно розвалилася вони організували інший проект "Danger zone". Крім них туди також увійшли вокаліст Кінг Даймонд (Кім Петерсон), басист Тіми Граббер і ударник Кім Разз.
Даймонд до того часу вже прославився своїми "кривавими" шоу в "Black rose". Він же зі своїм вокалом визначив напрямок нової команди, далеко відмінне від панку. Записавши свою першу демку група вирішила змінити вивіску на "Mercyful fate". "Love Criminals" була запущена у важку ротацію на датському радіо, завдяки чому про колектив заговорили. Далі послідували ще дві демоленти, причому остання виявилася настільки сильною, що групою зацікавилися солідні дядьки з англійської "Ebony Records". З їх допомогою композиція "Black Funeral" потрапила на металевий збірник "Metallic Storm".
Трохи пізніше інтерес до "Mercyful fate" проявила голландська фірма "Rave On", на якій в 1982 році вийшов перший міні-альбом "Corpse Without A Soul". Тепер команду помітили і за океаном і американський журнал "Metal Mania" обізвав платівку "EP року".
Зарулив з концертами навесні 1983 року в Англії група заодно записала кілька треків ("Evil", "Satans Fall", "Curse Of The Pharoahs") для радіо BBC. Подальшим ходом стало укладання контрактів з європейською "Roadrunner" і британською "Music For Nations". У 1983 році на прилавках з'явився альбом "Melissa", названий так на честь датської середньовічної відьми. Укупі з живими шоу платівка мала непоганий успіх. "Mercyful fate" влаштували диску належний промоушен виступаючи з концертами разом з Гілланом, "Uriah heep" і "Girlschool". У 1984-му вийшов другий альбом "Don t Break The Oath", що мав набагато більший успіх, ніж його попередник. Вперше група вирушила за океан, де погравши на розігріві у "Motorhead" сама виступила в якості хедлайнерів.
Загалом все йшло добре, аж раптом у 1985-му році команду залишив Шерманн, який вирішив заснувати більше комерційний проект, "Fate". Кінг, почухавши ріпу, прихопив з собою Деннера і Граббер (що взяв псевдонім Тіми Хансен) і організував "King Diamond".
Через вісім років йому прийшла в голову ідея відродити "Mercyful fate", на що Шерманн, Деннер і Хансен відповіли згодою. Замість Кіма Разза, який подав у листоноші за ударні посадили Мортена Нельсона. Повернення групи відбулося на легендарному фестивалі "Dynamo" в Ейндховені в червні 1993-го. На камбек того ж року "In The Shadows" в якості гостя взяв участь Ларс Ульріх з "Металіки". Незважаючи на те що минуло багато років, музика колективу практично не змінилася. Хоча всі думали, що відроджений проект буде недовгим, музикантам сподобалося грати разом і вони продовжили спільну роботу. На початку 1996-го за ударну установку сіл Бьорн Ті Холм, а трохи пізніше в команді з'явився новий басист Шарлі Д Анжело.
Поки в 1997 році більшість музикантів "Mercyful fate" було зайнято у сторонніх проектах "Roadrunner Records" отремастеріла ранні роботи групи і додавши туди бонусні треки випустила їх у світ. Тенденція до сайд-проектам продовжилася і далі, хоча група випускала платівки і виступала з концертами. Сам же Кінг Даймонд встигав працювати і в "Mercyful fate" і в своєму "King Diamond".