Tytuł płyty stanowił de facto wyraz stanowiska The Beatles wobec kolegów i koleżanek po fachu, w domyśle tych o białym kolorze skóry, którzy i które próbowali wykonywać muzykę ściśle kojarzącą się z brzmieniem amerykańskich artystów, wykonujących muzykę soul. Wpaść na termin Rubber Soul miał sam Paul McCartney po tym, gdy zobaczył, że w jednej z recenzji krytyk nazwał muzykę ich rywali, The Rolling Stones, "plastikowym soulem". Beatlesi tworzyli więc "gumowy soul" i wskazywali, że mają do siebie dystans, a ich własna twórczość jest dużo bardziej bogata.

Uznaje się, że Rubber Soul to pierwszy album The Beatles, który John Lennon, Paul McCartney, Ringo Starr i George Harrison nagrali pod wpływem środków odurzających.

Najbardziej rozpoznawalny utwór z płyty, Norwegian Wood (This Bird Has Flown), opowiada o pozamałżeńskim romansie Johna Lennona, który ten przeżył w Londynie.

Także Paul McCartney wykorzystał prace nad Rubber Soul do opowiedzenia o swoich perypetiach miłosnych z tamtych czasów. Basista przeżywał wtedy problemy w swojej relacji z aktorką Jane Asher. Opowiadają o tym utwory You Won't See Me, We Can Work It Out oraz I'm Looking Through You

Za takowy z całej dyskografii The Beatles uznał już w latach 90. George Harrison.