Видеоклип "We All Go Back to Where We Belong" стал последним в истории группы R.E.M. Парни решили не мелочиться и снять его сразу в двух вариантах. Кирстен Данст снялась в первой версии клипа. А во второй "зажигал" художник Джон Гиорно.