1929（昭和4）年に開業。
1897（明治30）年山陽鉄道が開通した際には、大畠駅～柳井津駅（現在の柳井駅）間には駅がなかった。柳井港は山陽鉄道開業以前から四国、九州への海の玄関口だったが、近くに鉄道駅がなかった。
柳井町に駅が２つできるはずはないといわれていたが、大分へ関門を経由（12時間）するよりもはるかに速く行ける（4時間）ことなどを地元の人々が訴え、駅の新設を実現させた。
駅舎は1970（昭和45）年に建て替えられ、同時に海側に線路を増設、跨線橋も新設された。2005（平成17）年に無人化した。
駅舎東にあるトイレに向かう通路あたりに「柳井港駅急行停車記念」と書かれた小さなモニュメントが半ば朽ち果てて残っている。1968（昭和43）年10月1日という日付が書かれていることから、急行ながと１往復が当駅に停車したのを記念して建てられたものと思われる。
