Seit Anfang Januar 1905 kursierten erste Pressemeldungen über ein Ausscheiden Möllers aus der Reichsregierung. Als Möller dann auch noch von seiner früheren Haltung abwich und nunmehr eine staatliche Beteiligung am Kohlesyndikat befürwortete, entzog ihm Reichskanzler von Bülow das Vertrauen. Möller bot seinen Rücktritt an und wurde anlässlich seines Abschieds am 18. Oktober 1905 mit dem erblichen Adeltstitel ausgezeichnet. Nach seiner Demission verfiel er freilich nicht in Untätigkeit, sondern stürzte sich in neue, insbesondere koloniale Vorhaben und auch in soziale Aufgaben u.a. im Roten Kreuz und dessen Gliederungen.
Eine weitere schwere politische Niederlage erlitt von Möller völlig unerwartet bei der Reichstagswahl 1907, der
„Hottentottenwahl”. Diese war notwendig geworden, nachdem der Reichstag im Dezember 1906 mehrheitlich einen Nachtragshaushalt für die Kolonialtruppen in Deutsch-Südwestafrika (heute Namibia) abgelehnt hatte, der die Niederschlagung des Aufstand der etwa 20.000 Nama, abschätzig „Hottentotten” genannt, finanziell absichern sollte. Die Mitbewerber von Möllers um das Reichstagsmandat waren im Wahlkreis Bielefeld-Wiedenbrück für die katholische Zentrumspartei Heinrich Humann (1837-1915) und für die SPD der Gewerkschaftssekretär Carl Severing (1875-1952). Humann, der seine 25,04 Prozent vor allem im katholischen Raum Wiedenbrück geholt hatte, scheiterte im 1. Wahlgang.
Severing (36,63 Prozent) und von Möller, der mit 38,33 Prozent noch knapp vorne gelegen hatte, mussten in die Stichwahl – und diese endete mit einer Sensation: Severing kehrte das Ergebnis um und erhielt mit 52,9 Prozent die absolute Mehrheit. Offensichtlich waren die katholischen Zentrumswähler nach dem Scheitern ihres Kandidaten Husemann ausgerechnet zum Sozialdemokraten Severing übergegangen. Verantwortlich dafür waren Absprachen zwischen dem Zentrum und der SPD und auch das ungeschickte Auftreten der nationalliberalen Unterstützer von Möllers, die mit markigen, stark nach vergangen geglaubtem antikatholischem Kulturkampf klingenden Parolen die Zentrumswähler verschreckten und in die Arme der SPD trieben. Möller selbst hatte keine kulturkämpferischen Tendenzen erkennen lassen und war damit auch ein Opfer einer falschen Wahlkampftaktik geworden.