Ancak kendisini etkileyen monarşik değerlerin 19. yüzyılda işlevsiz kaldığını görmek onun ilk hayal kırıklığını oluşturur. Parlamenter düzende yapmak istediği değişiklikler de Parlamentonun yaşlı üyeleri tarafından engellenince devlet işlerinden uzaklaşmaya ve Başkent Münih´ten ayrılıp Bavyera kırsalında yaşamaya başlar. İmzalaması gereken belgeleri imzalayıp kendi dünyasına döner. Gittikçe toplumsal hayattan uzaklaşıp hayaller ve masallarla dolu kendi iç âlemine kapanan II. Ludwig, şatolar ve kaleler yaptırma hevesine kapılır. Geceler boyu dağlarda dolaşmaya başlar, zorunlu toplantılara katılmaz ve iyice yalnızlığını pekiştirir. Bu arada Prusya´nın tacizleri artar. Savaştan hiç hoşlanmayan ve gidişatı engelleyemediğini fark eden II. Ludwig tahtan feragat etmeye karar verir. Hükümet üyeleri ise Wagner´i araya sokar. Kralın imkânlarını sonuna kadar kullanan Richard Wagner, II. Ludwig´i Münih´e dönmeye ikna eder. Böylece II. Ludwig, Wagner´in etkisi ve Parlamentonun baskısıyla Prusya´ya karşı harekât iznini imzalar. Sonuç Bavyera için hüsran olur. Tabii sorumlu olarak II. Ludwig görülür. Prusya ile imzalanan antlaşma koşulları neticesinde 1870 yılında Prusya´nın Fransa ile savaşa girmesinden dolayı, Bavyera da Fransa´ya karşı savaşa sürüklenir. Alman ordusunun başarılı olması, Prusya´nın gücünü artırır. Kazanılan Fransa savaşının ardından, Almanya´nın birliği için çalışan şansölye Bismarck´ın, II. Ludwig´in kuzeni olan Prusya kralını yeni kurulan Almanya´nın İmparatoru seçtirmesi ile gururu incinen II. Ludwig büsbütün içine kapanır. Sonuçta II. Ludwig, Prusya kralının Almanya hükümdarı olduğunu kabul etmek zorunda kalır ve Bavyera, 1871 yılında kurulan Almanya İmparatorluğu´nun da ikinci büyük eyaleti haline gelir. Ancak bu durum II. Ludwig´in Bavyera´yı Almanya´ya satan kral olarak tanınmasına yol açar. II. Ludwig bu yıkımları yaşarken 22 Ocak 1867´de kuzeni Bavyera´lı Prenses Sophie Charlotte ile nişanlanır. Nişanlısı Sophie´ye yazdığı mektuplarda, nişanlısına, yukarıda bahsettiğim efsanenin kahramanı Lohengrin´in sevgilisi olan ?´Else´´nin ismiyle hitap eder. Tam düğün hazırlıkları bitmek üzereyken nişan bozulur.
