Oliven er blant de eldste kulturplantene vi kjenner til. Dyrkingen startet trolig på Kreta 4500–3000 fvt. Før det ble oliven høstet fra viltvoksende trær. Oliven er omtalt i mesopotamiske og egyptiske skrifter og i Bibelen og Koranen. Ifølge gresk mytologi var treet hellig og symboliserte hell, fred og visdom. Vinnere i de olympiske leker, som ble arrangert fra 776 fvt., ble kronet med en krans av olivenblader. Et oliventre kan bli flere tusen år gammelt. Oliven tilhører oliventrefamilien (Oleaceae), samme familie som ask og syrin.
Ordet olje kommer av det gamle greske navnet på oliven, elaia.