法律分析：行政机关作出行政处罚决定决定后，如果想撤销行政处罚决定，应该向行政处罚相对人出具撤销行政处罚决定书。行政行为撤销的条件：行政行为合法要件缺损。合法的行政行为具备主体合法、内容合法、程序合法三要素；行政行为不适当。
法律依据：《中华人民共和国行政处罚法》
第五十四条 行政机关应当建立健全对行政处罚的监督制度。县级以上人民政府应当加强对行政处罚的监督检查。 公民、法人或者其他组织对行政机关作出的行政处罚，有权申诉或者检举；行政机关应当认真审查，发现行政处罚有错误的，应当主动改正。
第五十五条 行政机关实施行政处罚，有下列情形之一的，由上级行政机关或者有关部门责令改正，可以对直接负责的主管人员和其他直接责任人员依法给予行政处分： （一）没有法定的行政处罚依据的；
（二）擅自改变行政处罚种类、幅度的；
（三）违反法定的行政处罚程序的；
（四）违反本法第十八条关于委托处罚的规定的。