Choć powszechnie album ten nazywa się Led Zeppelin IV, ze względu na fakt, że był to czwarty w kolejności krążek zespołu, to w rzeczywistości nie ma on żadnego tytułu. Skąd taka decyzja? Po latach w rozmowie z Bradem Tolińskim Jimmy Page zdradził, że była to swoista odpowiedź zespołu na słowa krytyków muzycznych, którzy twierdzili, że sukces grupy był napędzany przez szum wokół nich, a nie prawdziwy talent. Panowie chcieli więc, by nic nie zwracało uwagi, a przemówiła tylko muzyka. 

Na wewnętrznej stronie okładki albumu po raz pierwszy zespół umieścił cztery symbole, każdy reprezentował danego członka grupy. Jimmy'ego Page'a reprezentuje słynne "ZoSo", którego pochodzenia ten nigdy nie ujawnił, choć powszechnie uważa się, że pochodzi on z 1557 roku i oznacza Saturna. John Paul Jones wybrał, pochodzący z Book of Signs autorstwa Rudolfa Kocha, symbol znany jako Triquetra, przecinany przez okrąg. Ma on oznaczać osobę, która posiada pewność siebie i kompetencje. John Bonham poszedł śladem Jonesa, jednak postawił na Pierścienie boromejskie, które tu oznaczają triadę matki, ojca i dziecka. Robert Plant zaś zdecydował się na swój własny projekt, czyli pióro w okręgu, inspirowane znakiem mitycznej cywilizacji Mu. Symbole każdego z muzyków zaczęły się pojawiać na ich sprzęcie muzycznym na trasie promującej album. 

Jedna z plotek głosi, że na początku lat 70. Robert Plant był nieszczęśliwie zakochany w Joni Mitchell, kanadyjskiej wokalistce, kompozytorce i autorce tekstów, wykonującej muzykę, określaną jako rockowy folk. Na wydanym w czerwcu 1971 roku albumie artystki, zatytułowanym Blue, znalazł się utwór California, trzy lata wcześniej zaś nagrała ona kompozycję I Had King. Mówi się, że utwór Going to California, mówi właśnie o niespełnionej miłości Planta do Joni, co sugeruje nie tylko tytuł, ale też wers "Find a queen without a king ; They say she plays guitar and cries and sings, la-la-la-la".

Klasyk Black Dog swoim tytułem do bezimiennego, czarnego labradora, którego zespół widywał w czasie prac nad płytą, gdy ten przechadzał się po terenie studia Headley Grange.