将彩灯电池改成插电的方式，需要进行以下步骤：

准备工具和材料：电池灯、插头、电源线、螺丝刀、剪刀等。

选择合适的转换插头：选择与电源线相符合的插头，并购买合适的插头。

更换电源线：将电池灯外壳打开，找到电池灯内部的电源连接口，将原有的连接线剪掉，用螺丝刀卸除电源线。然后将新的电源线连接到电源连接口，注意插头的位置是否正确，并用螺丝刀固定电源线和电源连接口。

更换灯头：在灯头上揭开固定螺丝，用螺丝刀旋转灯头，将灯头取下。然后将新的灯头用螺丝刀连接到电池灯内部，并固定好螺母和螺丝。

测试和调试：将插头插到电源上，打开开关，查看灯光是否亮起。如果插头灯没有亮起，需要检查插头、插头连接线和灯头连接是否牢固。

需要注意的是，在进行电器改装时一定要注意电气安全，避免在操作过程中发生危险情况。同时，建议在专业人士的指导下进行操作。