油水分離器與沉淀池處理廢水的基本原理相同，都是利用廢水中懸浮物和水的比重不同而達到分離的目的。油水分離器的構造多采用平流式，含油廢水通過配水槽進入平面為矩形的油水分離器，沿水平方向緩慢流動，在流動中油品上浮水面，由集油管或設置在池面的刮油機推送到集油管中流入脫水罐。在油水分離器中沉淀下來的重油及其他雜質，積聚到池底污泥斗中，通過排泥管進入污泥管中。

油水分離器多用鋼筋混凝土筑造,也有用磚石砌筑的 在矩形平面上，沿水流方向分為2~4格，每格寬度一般不超過6米，以便布水均勻。有效水深不超過2米，油水分離器的長度一般比每一格的寬度大 4倍以上。油水分離器多用鏈帶式的刮油機和刮泥機分別刮除浮油和池底污泥。一般每格安裝一組刮油機和刮泥機，設一個污泥斗。若每格中間加設檔板，擋板兩側都安裝刮油機和刮泥機，并設污泥斗,則稱為兩段式油水分離器,可以提高除油效率，但設備增多，能耗增高。若在油水分離器內加設若干斜板，也可以提高除油效率，但建設投資較高。在寒冷地區，為防止冬季油品凝固，可在集油管底部設蒸汽管加熱。油水分離器一般都要加蓋，并在蓋板下設蒸汽管，以便保溫，防止油水分離器起火和油品揮發，并可防止灰沙進入。