Dat verklaart waarom hier al vroeg sprake was van een nederzetting. Kelto-Ligurische stammen dreven van hieruit handel met de Grieken in Marseille, 500 jaar voordat de Romeinen zich aandienden. In de romeinse tijd ontwikkelde de stad, die door de Romeinen Avenio werd genoemd, zich tot een stad van belang. In de 12de eeuw werd de stadsmuur gebouwd. Deze muur heeft een lengte van 4,5 km en bevatte oorspronkelijk 12 poorten. Nu zijn er nog slechts 4 van over.

Waar bijna overal elders stadsmuren zijn afgebroken, heeft Avignon ze gehandhaafd en onderhouden, waardoor de stad tegenwoordig zo’n prachtig voorkomen heeft. In feite zijn de stadsmuren tweemaal gebouwd, omdat koning Lodewijk VIlI de muren (en de stad en de brug) in 1226 heeft verwoest als straf voor het feit dat de stad de zijde had gekozen van de Katharen.

De geschiedenis van de stad wordt gedomineerd door de
vestiging van het pauselijk hof in de periode van 1309 tot 1377. Tussen de Franse koning Filips de Schone en paus
Bonifatius VIll was een conflict ontstaan over de vraag of de staat belasting mocht heffen van de kerk. De paus wilde de koning excommuniceren, hetgeen voor de koning reden was de paus te arresteren om hem met geweld voor een concilie te brengen. Deze arrestatie mislukte omdat de bewoners van Anagni, de plaats waar de paus zijn zomerverblijf had,
tussenbeide kwamen en de soldaten van Filips verjoegen. Toen later de Franse Clemens V tot paus werd gekozen, durfde hij niet naar Rome omdat hij bang was voor vergeldingsacties in Rome. Volgens de Italianen wilde Clemens V niet naar Rome, omdat hij in de buurt wilde blijven van zijn maîtresse, de beeldschone gravin van Perigord. Hoe dan ook; hij liet zich door Pilips de Schone overhalen het pauselijk hof over te brengen naar Avignon. De keuze voor Avignon was een voor de hand liggende, omdat het Vaticaan al het gezag had over het nabij gelegen Comtat Venassin.

Het was een zwarte periode in de geschiedenis van de katholieke kerk. De handel in aflaten werd geperfectioneerd en kerkelijke ambten werden verkocht aan de hoogst biedende; het geld stroomde in ongekende hoeveelheden binnen, met uiteraard corruptie en decadentie tot gevolg. In totaal 7 pausen hebben in Avignon hof gehouden. Paus Benedictus XII bouwde het Palais Vieux. Clemens VI kocht de stad en maakte het de hoofdstad van het Comtat Venassin. Hij bouwde ook het Palais Nouveau. De zevende paus Gregorius XI verplaatste in 1377 het pauselijk hof weer naar Rome. Naar men zegt zou hij met tranen in de ogen afscheid hebben genomen van Avignon om terug te keren naar de originele zetel van de kerk, maar daardoor kwam toch nog geen einde aan het verblijf van pausen in Avignon. Bij de eerstvolgende pausverkiezing werden twee pausen gekozen, waarna de paus die door de Franse kardinalen was gekozen, Clemens VIl zich weer in Avignon vestigde als tegenpaus. Hij heeft nog twee opvolgers gehad. Aan deze periode van het Schisma kwam een einde in 1417. Avignon en het Comtat Venassin bleven echter eigendom van het Vatican tot aan de franse revolutie. Deze bijzondere positie heeft zijn sporen nagelaten in Avignon en omgeving (vooral

Chateauneuf du Pape en Villeneuve les Avignon) in de vorm van het Palais des Papes, kerken, kloosters, stadspaleizen voor de kardinalen en buitenverblijven.
De stad staat niet voor niets op de lijst van werelderfgoederen van de Verenigde Naties.