Ялівець козацький є дводомним сланким чагарником заввишки до півтора метра, що швидко розростається й утворює щільні зарості. Іноді він росте у вигляді дерева з вигнутим стовбуром і червоно-коричневою корою, що відшаровується, сягаючи у висоту 4 м. Отруйні пагони рослини містять ефірну олію. Хвоя у ялівцю козацького двох типів: голкоподібна, м’яка, загострена, прямостояча, синювато-зелена, завдовжки 4-6 мм, із явною серединною жилкою на зростаючих у затінку пагонах молодих рослин і розташована на кшталт черепиці лускоподібна на дорослих ялівцях. При розтиранні хвоя цього виду, що зберігається три роки, видає характерний різкий запах.