法律作为国家最高权力机关制定的基本法律形式，在行政处罚领域拥有最广泛的设定权。它不仅能够规定各类行政处罚措施，包括但不限于警告、罚款、没收违法所得、责令停产停业等，还可以对具体违法行为作出详细规定，并设定相应的法律责任。因此，在涉及国家安全、社会秩序维护以及公民基本权利保护等方面的重要事项上，法律往往是首选的立法工具。
而行政法规，则是由国务院依据宪法和法律授权制定的规范性文件，其地位次于法律。尽管如此，行政法规同样具备一定的行政处罚设定能力。但是需要注意的是，行政法规不得超越法律的规定范围或违背法律规定的精神实质来创设新的处罚种类或者加重处罚力度。此外，对于某些特定类型的行政处罚（如限制人身自由），则必须由法律规定，行政法规无权涉足。
综上所述，“法律和行政法规都可以设定各种行政处罚”的说法是正确的。不过，在实际操作过程中，还需结合实际情况仔细考量每种行政处罚手段是否符合比例原则、是否有助于实现预期目标等因素，以确保执法活动既合法又合理。同时，随着法治建设不断深入发展，如何进一步优化行政处罚制度设计、平衡公共利益和个人权益之间的关系，仍将是未来值得持续关注的重要课题之一。
