Unpolitisch soll Speer gewesen sein, zumindest hat er nach 1945 selbst an dieser Lesart seiner Rolle im Dritten Reich festgehalten. Das "Erweckungserlebnis" - eine Rede Hitlers vor Studenten - ließ Speer schon 1931 in die NSDAP eintreten. Nach 1933 erlebte Speer einen rasanten Aufstieg in der Gunst Hitlers. Er ist einer der vielen Technokraten, die der braunen Machtelite hilfreich zur Seite standen. Seine Motivation war in der Tat nicht ideologisch, sondern allein abhängig von seinem Verhältnis zu Hitler bestimmt. Speer hat ihn und seine Ziele bewundert, war von ihm fasziniert. Der baubegeisterte "Führer", für den Baukunst ein elementarer Teil seiner Weltanschauung war, fühlte sich bald zu dem jungen Architekten hingezogen, wahrscheinlich auch bestärkt durch dessen unkritische Treue. Ob bewußt oder unbewußt: Je größer und bombastischer Speer plante, je mehr er Hitlers Bauvorstellungen ins Gigantische konstruierte, desto mehr fühlte Hitler Sympathie für seinen Generalbauinspektor. Die sich gegenseitig überbietende Planungswut der beiden zeigt sich vor allem in der mitunter aberwitzigen Stadtgestaltung Berlins, dem späteren mit überdimensioniertem Kuppelbau und monumentalem Triumphbogen überhöhten Germania. Daß Speer in der Hierarchie aufstieg, lag allerdings nicht allein an seinen architektonischen Fähigkeiten, sie war auch Folge seines Organisationstalents, das ihn zum Rüstungsminister, schließlich zum potentiell zweiten Mann nach Hitler aufsteigen ließ. In dieser Position, und auch schon lange vorher, konnte es keinen unpolitischen Speer mehr geben. Er geriet in die Konkurrenzkämpfe der Goebbels, Görings, Himmlers und vor allem Bormanns, ohne allerdings selbst über eine Art Hausmacht in der Partei zu verfügen. Der selbstbewußte, großbügerlich denkende Speer wurde zunehmend zum Fremdkörper in der Entourage Hitlers, stand und fiel allein mit seiner Beziehung zu ihm. Speer ist anfangs kriegsbegeistert, fordert immer mehr den totalen Krieg, den er als Rüstungswettlauf begreift. Ab 1944 wird er selbst gegenüber Hitler kritisch, soll sogar ein Attentat geplant haben, versuchte aber jedenfalls die Strategie der verbrannten Erde im Reichsgebiet zu verhindern. Schon während der Nürnberger Prozesse begann Speer aus welchen Gründen auch immer seine Lebenslüge aufzubauen: er sei nicht beteiligt gewesen an den Verbrechen, aber er nehme als Minister Verantwortung auf sich. Daran hält er auch nach seiner Haftentlassung fest. Diese Realitätsflucht beschreibt Fest als unbewußte Abwehrreaktion, sieht aber auch ein bewußtes Vorgehen seitens Speers, der sich zunehmend vor Entdeckung bedroht fühlte (vor allem durch eine interne Chronik, die sein Mitarbeiter Rudolf Wolters mit seinem Wissen verfaßt hatte, die später in zunächst verstümmelter Form in das Bundesarchiv gelangte, ganz im Sinne Speers). Fest kann in der Speer-Biographie sein fundiertes Wissen über Hitler gewinnbringend einsetzen. Speer habe es später gut verstanden, schreibt er, die Mitmenschen über seine Rolle im Dritten Reich und seine Motive zu täuschen. Als Speer 1966 mit der endgültigen Abfassung seiner Erinnerungen begann, hat Fest ihn dabei im Auftrag des Verlegers Jobst Siedler unterstützt. Die Interviewergebnisse aus diesen Jahren hat er in der Darstellung breit eingesetzt, kenntlich gemacht in den Anmerkungen durch den Vermerk "Notiz des Verfassers". Aber trotz seiner persönlichen Nähe zu Speer, trotz der sicherlich vorhandenen Sympathie hat es Fest verstanden, sich über die Rolle des Rüstungs- und Wirtschaftsorganisators im Dritten Reich eben nicht täuschen zu lassen: Speer wußte wesentlich mehr über die Judenermordung und über Zwangsarbeiter als er später zugeben wollte. Schließlich war es auch der Rüstungsminister Speer, der mit beständig steigenden Produktionszahlen die Menschenjagden Sauckels forcierte.