由以下3部门认定：

1、县级以上城乡规划主管部门

城乡规划部门属于法定部门，城市中的违法建筑由该部门主管；有的地方将城乡规划部门和自然资源部门合并称为“规划和国土资源管理委员会”，那么该“规划和国土资源管理委员会"有权对违建进行主管。

2、城市管理综合行政执法部门

该部门就是老百姓常说的“城管”。城管部门本身没有权利管理违法建筑，但城管部门若得到了省级人民政府的授权，则有权要求要求违建所有人自行对违法建筑进行拆除。

3、部分权利下放地区的街道办

这里以北京为例。《北京市城乡规划条例》赋予了街道办事处查处违法建设的职权，并授权市政府明确各执法主体的查处职责分工。