Tytuł Get Behind Me Satan jest nawiązaniem do Biblii. Mowa konkretnie o Ewangelii według św. Mateusza - rozdział 4, wersy 1-11. Fragment ten dotyczy kuszenia Jezusa na pustyni i słów "Idź precz, szatanie". Sam White tłumaczył ten pomysł jako swego rodzaju postawę życiową, zgodnie z którą ktoś może być z daną osobą albo przeciwko niej, a jeśli mamy do czynienia z tą drugą sytuacją, to należy zwyczajnie zejść jej z drogi. Inna interpretacja dotyczyła ludzkiej podatności na pokusy.

Meg i Jack nie wspominali najlepiej sesji nagraniowych stwierdzając, że te były wręcz przeklęte! Muzycy opowiadali, że w ich trakcie sprzęt nie działał prawidłowo, a na ich głowy z sufitu kapała woda!

Rita Hayworth, słynna aktorka wspomniana jest w dwóch piosenkach z płyty: White Moon oraz Take, Take, Take.

Wydany jako pierwszy singiel z płyty utwór Blue Orchid sam Jack White określił jako ten, który de facto uratował cały album, gdyż to on sprawił, że na nowo zechciał grać koncerty. Według plotek opowiada ona o relacji muzyka z aktorką Renée Zellweger, jednak on sam zdementował te rewelacje.