1884（明治17）年、近藤唯治が私財を投じ、「ぬしや港」として完成。波止は当初は長さ20間（35ｍほど）であったが、のちに50間（90ｍほど）に延長。ターミナル東側の曲線はその名残。当初は海岸が遠浅で、船の出入りが不便であった。
1929（昭和4）年に柳井港駅が開業、翌1930（昭和5）年に長さ約150ｍの鉄筋桟橋が完成し、大島郡をはじめ四国、九州、関門、大阪方面の航行が便利になった。
1964（昭和39）年、柳井～小松開作（周防大島）間にフェリーが就航したが、1976（昭和51）年大島大橋ができて廃止となった。
1965（昭和40）年に柳井松山間のフェリーが就航し、1968（昭和43）年国道188号の南側にあった漁港を埋め立て、県営ポートビルが完成した。その後2015（平成27）年に建て替えられた。
現在では松山（三津浜）、平郡島、祝島への船便がここを発着する。
平郡島
柳井市に所属する、山口県最大の有人離島。
柳井港からの所要時間は、平郡西港までフェリー（1日2往復）で1時間、平郡東港まで1時間40分。五十谷海水浴場や大嶽、蛇の池等の名所がある。民宿は東西３か所にある。
裸島
柳井港沖に浮かぶ無人島。
伝説では、弁慶が琴石山の上から下駄の歯に挟まった大岩がじゃまだと足を大きく振ったところ、そのまま飛んで海に落ち小島になったという。また、般若姫伝説では、遭難した舟の水夫が裸で命からがらたどり着いた島として語られている。
島の地層は柱状節理で、頂上に裸島明神社がまつられている。
昭和の時代このあたり一帯で「柳井港まつり」が開催されていた。8 月上旬、島から明神を迎えて祭事を行い、夕方から花火大会が催された。余興に盆踊りなども行われ、港は遊覧船でにぎわった。市内の商店ではこれにあわせ、毎年中元の大売出しを行っていた。
