违规改造房屋结构通常由县级以上地方人民政府房地产行政主管部门负责管理。具体来说：
如果违规改造涉及破坏承重结构、随意拆除非承重墙体、屋顶及小院乱搭乱建、封闭阳台、装修扰民及装修垃圾的乱堆乱放等，根据《住宅室内装饰装修管理办法》，这些行为可能会受到市、县规划行政主管部门或市、县建设行政主管部门的处罚。
对于将没有防水要求的房间和阳台改为卫生间、厨房间，或者拆除连接阳台的砖、混凝土墙体等违反《住宅室内装饰装修管理办法》的行为，则由房地产行政主管部门进行查处。
对于居民小区内的违法建设，县级以上人民政府建设行政主管部门会责令拆除，并可能处以罚款。
请根据具体情况联系当地相关部门进行投诉或咨询。
