Остеолепис достигал в длину около 20 сантиметров, и был покрыт крупной ромбовидной чешуей. Чешуя была покрыта слоем губчатого костяного материала, под названием космин (видоизмененный дентин). В слое космина находились каналы, которые соединялись с сенсорными клетками, расположенными глубже в коже. Эти каналы были частью системы боковой линии, позволяющей рыбе чувствовать вибрации воды и обнаруживать изменения в давлении, вызванные другими водными животными поблизости.

Остеолепис относился к кладе Rhipidistia, которая включает наземных позвоночных и двоякодышащих рыб. Это животное также имеет ряд общих черт с тетраподами: кости, гомологичные костям конечностей наземных позвоночных и хоаны (внутренние ноздри). Кроме того, остеолепис обладал двумя закругленными спинными плавниками, размещенными сзади, и гетероцеркальным хвостовым плавником (хвостовой плавник с лопастями существенно разной длины, причём верхняя лопасть длиннее, и в неё заходит хвостовой отдел позвоночника).