如果水泥井盖被冻住，可以使用以下方法来撬开：

使用撬棍：如果井盖较轻，可以使用传统的撬棍。将撬杆嵌入井盖缝中，然后往上拉，使井盖离开井口。但使用撬棍的时候一定要保证安全，避免因为用力过猛或不当而导致自己受伤。

用锤子敲击：如果井盖上没有螺丝，可以用锤子敲击井盖。先用锤子敲击井盖四周，然后用扳手或者钳子将井盖拆下来。

用电钻或电锤：如果井盖非常紧固，可以使用电钻或电锤。先用电钻或电锤在井盖上打几个小孔，然后用扳手或者钳子将井盖拆下来。

请注意，在撬开井盖的过程中，要注意安全，避免因操作不当导致受伤。同时，要注意不要损坏井盖或周边设施。如果无法自行解决，建议寻求专业人员的帮助。