我們都知道橄欖石是因為其色如橄欖而得名，而關於它的命名也有一段有趣的傳說。
傳說，在地中海一個常有大霧瀰漫的小島上，經常有海盜出沒，不同團伙的海盜常發生衝突。在一次大規模衝突中，海盜們因為挖掩體而發現大量寶石，於是大家高高興興地放下手中武器擁抱和好。海盜首領根據《聖經》裡橄欖枝的故事，將這種晶瑩透明、色澤酷似橄欖的寶石稱為橄欖石。從此，橄欖石一直被海盜奉為化干戈為玉帛的信物。 同時，海盜們也相信，橄欖石具有驅趕邪惡靈魂和黑夜恐懼的力量，當橄欖石被打孔串系驢鬃，戴到左臂上後，就是一件驅邪的護身法定。
天然橄欖石戒指
正是因為它有了象徵著和平的美好願望，古代的一些部族之間常以互贈橄欖石表示和平。在耶路撒冷的一些神廟裡，至今還有幾千年前鑲嵌的橄欖石。古埃及把橄欖石當做國石，稱為「太陽的寶石」，是因為橄欖石的形成必須經歷「痛苦」的磨難，它們產於火成岩中，需要經過火的鍛造。埃及盛產橄欖石，也最有資格把橄欖石作為自己的國石。遠在摩西時代，猶太大祭司亞倫(Aaron)的胸鎧上鑲嵌有十二顆寶石。每顆寶石分別代表以色列十二支部落中的一支，其中一顆就是橄欖石。
而在夏威夷，人們視橄欖石為火山女神比莉的眼淚，也許是因為當地橄欖石大多產在火山口周圍的火山岩石中，星星點點，彷彿是火山噴出的淚滴，包裹在黑色的火山岩中。夏威夷還有一個夢幻般的海灘，全由如細沙般的橄欖石顆粒堆積而成，不禁令人想像那個嫩綠色的海灘是否猶如夏日鮮果般清涼透心，賞心悅目。
有記載說，綠中帶黃金色的橄欖石最為珍貴，她具有「使滾燙的水瞬間變涼」的效力，這種使熱變冷的特質，在家庭生活中，能減少家人間的口角、憤怒、頭腦發熱引起的種種衝動行為，被看做是「幸福美滿的婚姻」的象徵，因而橄欖石又被作為結婚16週年的紀念寶石。
