Prapoczątków parku należy szukać na przełomie XII i XIII wieku, kiedy powstało cysterskie opactwo w Oliwie. Zakonnicy zapewne już wtedy założyli przyklasztorny ogród użytkowy, być może nadając jakiejś jego części charakter ozdobny. Jednak ogród w pełni rekreacyjno-ozdobny zaczął powstawać w związku z wybudowaniem rezydencji opata, o której źródła wspominają od końca XVI wieku. To właśnie w tym ozdobnym ogrodzie przy rezydencji opata Franciszka Zaleskiego król August III Sas wydał 26 lipca 1734 roku imieninową ucztę na cześć swojej protektorki carycy Anny Iwanownej. Niestety, nie możemy wiele powiedzieć o wyglądzie ówczesnego ogrodu.

Dzisiejszy kształt w dużej mierze zawdzięcza park ostatnim opatom oliwskim. To z inicjatywy opata Jacka Rybińskiego (1740-1782) powstał w latach 1754-1756 nowy budynek pałacu opackiego, a kilka lat później powstała nowa wersja przypałacowego ogrodu. Projekt ogrodnika Hentschla (wzorowany na ogrodach przy Pałacu Błękitnym w Warszawie) zrealizował architekt i ogrodnik Kazimierz Dembiński z Kocka, który wcześniej pracował przy ogrodach w Wilanowie. Powstała wtedy barokowa część parku, dziś nazywana częścią francuską. Przed frontem pałacu utworzono wspaniały parter ogrodowy skierowany na południe. Ozdobiony jest fontanną i popiersiami książąt pomorskich dłuta Alfonsa Łosowskiego, ustawionymi w parku w 1967 roku.

Parter ogrodowy otwiera się w stronę dużego prostokątnego stawu usytuowanego prostopadle, wzdłuż osi wschodnio-zachodniej. Wzdłuż tej samej osi powstała Aleja Lipowa. Jej przedłużeniem na wschodnim końcu jest ujęty szpalerem drzew staw, który przez długie lata tworzył wspaniałą iluzję niejednokrotnie wspominaną przez podróżników bawiących w Oliwie. Patrząc w kierunku wschodnim odnosiło się wrażenie, że staw łączy się z wodami odległej o kilka kilometrów Zatoki Gdańskiej. Przez długie dziesięciolecia dbano, by nic nie zakłócało iluzji. W świetle Książęcego Widoku, jak nazywano aleję i jej przedłużenie, nie budowano żadnego obiektu i nie sadzono drzew. Niestety, współcześni goście parku muszą użyć wyobraźni, by na końcu osi widokowej zobaczyć zasłonięte obecnie morze.

Równolegle do stawu i Alei Lipowej powstał jeszcze jeden parter ogrodowy. Umiejscowiony w sztucznej dolince sprawia wrażenie nieco odizolowanego od reszty ogrodu zoastał nazwany Rajem. Przy jednej z alejek tej części parku znalazły się Groty Szeptów. Charakterystyczne muszle usytuowane naprzeciw siebie po dwóch stronach alejki mają tę właściwość, że stojący w nich, zwróceni plecami do siebie rozmówcy, mogą się porozumiewać ze sobą szeptem. Jeśli tylko nic nie przecina linii pomiędzy muszlami, głos odbity od ścian konchy słyszalny jest w przeciwległej muszli.

W 1772 roku wraz z I rozbiorem Polski Oliwa znalazła się pod panowaniem pruskim. Klasztor utracił wtedy swoje posiadłości i źródła dochodów, a klasztorowi zaczęła grozić likwidacja. W 1782 roku po śmierci opata Rybińskiego król pruski zamianował opatem swojego dalekiego kuzyna Karola Hohenzollern-Hechingen. Był on także biskupem chełmińskim, a potem warmińskim. Często, zupełnie niesłusznie, pomija się jego rolę w tworzeniu parku w Oliwie. To właśnie on sprowadził do Oliwy Jana Jerzego Saltzmanna, syna nadwornego ogrodnika, twórcy królewskich ogrodów w Poczdamie. Saltzmann (jego imię nosiła przed wojną dzisiejsza ulica Opacka) nadał ogrodowi nowy charakter. Zgodnie z ówczesną modą starał się imitować naturę w oparciu o popularne w tych czasach, choć raczej nieprawdziwe, wyobrażenia o chińskich ogrodach. W północnej części parku, dziś zwanej chińsko-angielską (lub angielską) stworzone zostały kręte ścieżki i zbiorniki wodne naśladujące dziką przyrodę. Powstało sporo altan, pawilonów, "świątyń" i innych urządzeń parkowych, których przedstawienia znamy z zachowanego planu parku z 1792 roku, sygnowanego herbem Hohenzollernów. Pozostałością po tamtych ozdobach są dwa sztuczne pagórki po północnej stronie parku czy kaskada na Potoku Oliwskim, która najprawdopodobniej powstała w miejscu, istniejącego tutaj do XVI wieku, dawnego młyna.

Niewątpliwą zasługą Karola Hohenzollerna i jego ogrodnika było zagospodarowanie wzgórza Pachołek, nazwanego Górą Karola (Karlsberg) od imienia opata. Włączone w obręb posiadłości opackich w 1793 roku stało się częścią parku, dzięki czemu ten nie kończył się po stronie północnej wyraźną granicą, ale miał swoje przedłużenie, którego ukoronowaniem był pawilon widokowy na szczycie wzgórza. Ta część założenia parkowego przechodziła niezauważalnie w naturalny las.

Wypada wspomnieć, że pewien wpływ na kształt oliwskiego parku mógł mieć miłośnik ogrodów biskup Ignacy Krasicki, który był częstym gościem zarówno opata Rybińskiego jak i Karola Hohenzollerna.

W 1803 roku ostatnim już opatem w Oliwie został Józef Hohenzollern-Hechingen, który otrzymał to stanowisko, wraz z długami, po swoim stryju. Klasztor został skasowany w 1831 roku, ale Józef Hohenzollern pozostał właścicielem pałacu i parku do swojej śmierci w 1836 roku. Park przeszedł wtedy na własność państwa pruskiego, a inspektorem został mianowany Gustaw Schöndorf. Nowy zarządca opiekował się parkiem do 1881 roku i sprowadził do Oliwy dużą ilość roślin egzotycznych. Usunął część zniszczonych już urządzeń parkowych. Pod jego zarządem park nabrał charakteru ogrodu dendrologiczno-krajobrazowego.

Kolejne zmiany w parku to dzieło inspektora Ericha Wocke, zarządzającego ogrodem w latach 1899-1929. W pobliżu starej oranżerii, w miejscu dawnego labiryntu, utworzył on około 1910 roku alpinarium i sprowadził do Oliwy szereg alpejskich roślin. Sama oranżeria została przebudowana w tym czasie w cieplarnię i niedużą palmiarnię, rozbudowywaną kilkukrotnie po II wojnie. Erich Wocke zgromadził w alpinarium rośliny ze wszystkich stron świata, które w naturalnych warunkach rosną jedynie w górach.

Popularność oliwskiego parku wzrosła, gdy w 1925 roku Oliwa stała się siedzibą biskupa gdańskiego, a pocysterski kościół został podniesiony do rangi katedry oraz gdy w 1927 roku w Pałacu Opatów otworzono placówkę muzealną. Pomimo, że rok 1945 przyniósł Oliwie stosunkowo niewiele zniszczeń, zwłaszcza w porównaniu z innymi dzielnicami Gdańska, to jednak ucierpiała roślinność parku. Stało się tak dlatego, ze Niemcy próbowali powstrzymać natarcie żołnierzy radzieckich w bezpośredniej bliskości parku, na obecnej ulicy Opata Rybińskiego.

Po wojnie park został wpisany do rejestru ochrony zabytków przyrody województwa gdańskiego, a w 1971 roku do rejestru zabytków miasta Gdańska. 1 listopada 1946 roku w powstała w parku Stacja Aklimatyzacji Roślin. W latach 1952-1956 założony został Ogród Botaniczny. W sezonie letnim jest on udostępniany zwiedzającym wraz z palmiarnią i alpinarium. Tabliczki z nazwami roślin są cennym uzupełnieniem zbiorów botanicznych. Podobne tabliczki swego czasu umieszczono na drzewach w całym parku.

W 1955 roku, w stulecie śmierci, park otrzymał imię Adama Mickiewicza. Kamienne popiersie poety wyrzeźbione przez Franciszka Drozda według projektu Konstantego Lecha odsłonięto następnego roku w zakątku zwanym Rajem.

Wiosną 1976 roku w parku znalazła swoje miejsce Galeria Współczesnej Rzeźby Gdańskiej. Ekspozycja powstała z inicjatywy gdańskich rzeźbiarzy i Muzeum Narodowego w Gdańsku, o czym informuje tablica umieszczona na ścianie Pałacu Opatów.

Najmłodszą częścią parku jest położony na południowo-zachodnim krańcu fragment pomiędzy ul. Opata Jacka Rybińskiego a budynkiem Gdańskiego Seminarium Duchownego. Dawniej znajdował się użytkowy ogród cysterskiego konwentu. Po wielu pracach rewaloryzacyjnych zakątek ten wypiękniał i zyskał na atrakcyjności. Uroku dodaje mu porośnięta winoroślą południowa ściana budynku seminarium, który choć powstał w latach 1983-1987, doskonale współgra z zabytkowymi budowlami klasztoru.