海瑞兴利除害，要求整修吴淞江、白茆河，通流入海，百姓得到了兴修水利的好处。海瑞早就痛恨大户吞并地皮，全力摧毁豪强势力，实行“一条鞭法”，安抚贫乏百姓。贫苦百姓的地皮有被富豪吞并的，大多夺回来交还原主。深受百姓的爱戴，叫他“海上苍”。
徐阶被罢免之后在家中居住，海瑞深究徐家也不给予优待。实行政令气势剧烈，所属官吏恐怖奉行不敢有误，豪强乃至有的跑到其他地方去躲避的。而有些奸民多乘机揭破告状，世家大姓时时有被诬陷抱屈枉的人。又裁减邮传冗费，士大夫途经海瑞的辖区大都得不到很好地张罗供应，因此怨言越来越多。
隆庆三年（1570年）冬季，都给事中舒化说海瑞迂腐滞缓，不通晓施政的办法，应该用南京清闲的职务安置他，明穆宗还是用奖励的措辞下诏鼓励海瑞。不久给事中戴凤翔弹劾海瑞庇护奸民，鱼肉士大夫，沽名乱政，于是海瑞被改任南京粮储。
海瑞巡抚吴地才半年。平民百姓听说海瑞解职而去，呼号哭泣于道路，家家绘制海瑞像敬拜他。海瑞要到新任上去，正遇高拱节制吏部，早就仇恨海瑞，把海瑞的职务合并到南京户部当中，海瑞因此遂因病引退，回到琼山老家。
海瑞在隆庆四年（1571年）曾前往福建晋江潘湖，黄光升的府邸拜见黄光升，以谢当年营救保护之恩。
万历元年（1572年），张居正主持国政，也不喜好海瑞，命令巡按御史稽核海瑞。御史到山中审察，海瑞杀鸡做菜招待御史，房屋居舍生僻简陋，御史嗟叹而去。张居正畏惧海瑞严厉刚直，中外官员多次推举，终极也不任用。
万历十二年（1584年）冬天，张居正去世之后，吏部拟用海瑞为左通政，明神宗朱翊钧向来看重海瑞的名望，于次年正月召海瑞为南京右佥都御史。履新途中，改为南京吏部右侍郎。海瑞当时已经七十二岁了，上疏言朽迈垂死，乐意效仿古人尸谏的意思，列举明太祖朱元璋刑法，剥人皮装上草制成皮囊，以及定律枉法达八十贯判处绞刑的规定，说应该用这样的方法惩处贪污。其它谋划时政，言语极为切实。只有劝天子用暴虐刑法，当时评议认为是缺点的。御史梅鹍祚弹劾海瑞。明神宗虽然认为海瑞辞吐有过失落，然而清楚海瑞的忠实，为此免去梅鹍祚的俸禄。
明神宗屡次要重用海瑞，主持国事的阁臣暗中阻挡，于是任命海瑞为南京右都御史。海瑞上任后，力主重办贪官污吏，禁止循私受贿。诸司向来苟且怠慢，海瑞身体力行，纠正弊端。有的御史偶尔戏乐，海瑞要按明太祖法规给予杖刑。百官恐怖不安，都怕受其苦。提学御史房寰恐怕被举发纠正要先告状，给事中钟宇淳又从中鞭策，房寰再次上疏诋毁诬蔑海瑞。海瑞也多次上疏要求退休，明神宗下诏慰留不许可。
万历十四年（1586年），海瑞听闻黄光升去世，悲哀至极，带病前去晋江奔丧。
万历十五年（1587年）十月十四日 ，海瑞病故于南京任上。他没有儿子，以是去世后，佥都御史王用汲去主持海瑞的丧事，瞥见海瑞住处用葛布制成的帏帐和褴褛的竹器，有些是连贫寒的文人也不愿利用的，因而禁不住为之悲泣不已，凑钱为海瑞办理丧事。海瑞的去世讯传出，南京的百姓因此罢市。海瑞的灵枢用船运回家乡时，穿着白衣戴着白帽的人站满了两岸，祭奠哭拜的人百里不绝。朝廷追赠海瑞太子太保，谥号忠介。
海瑞曾根据他在淳安的履历写《兴革条例》，评论辩论该地区的管理问题。
海瑞就任应天巡抚之后，立即颁布《督抚宪约》，规定巡抚出巡各地，府、州、县官一律不准出城欢迎，也不准设宴招待。考虑到朝廷大员或许仍须稍存体面，他答应事情餐可以有鸡、鱼、猪肉各一样，但不得供应鹅和黄酒，而且也不准超过炊事标准。这个标准是：物价高的地方纹银三钱，物价低的地方两钱，连烛炬、柴火等开支也在上述数目之内。
海瑞在应天实行一条鞭法：将过去按地、户、丁分别征收实施、征发徭役的赋役制度，改为按地皮、人丁征收货币与白银；将过去由纳税户轮流征收解运改为官府自行征收解运。把田赋、力役和其他杂税合编为一条，统一按田亩核算征收。原来按丁户征役的办法一并改为摊入田亩。
在对待左券问题上，海瑞不顾明代法律规定与当时的国情，哀求争议的办理必须以书面左券为依据。由于当时农人世是很少利用书面左券来发生借贷关系的，致使法律的实行陷入了进退维谷的两难田地。海瑞所批准赎还的仅占全部典押借贷案件的二十分之一。在海瑞的治下，佃户不敢向业主交租，借方不敢向贷方还款。
按照当时官场的风气，新官到任，故人故友高升，总会有人来送些礼品礼金，以示祝贺。这些礼品礼金只要数额不大，也是人之常情。然而海瑞公开贴告示说“今日做了朝廷官，便与家居之私不同”。然后把别人送的礼品逐一退还，连老朋友贺邦泰、舒大猷远道送来的礼也不例外。至于公家的便宜，更是一分也不占。海瑞临终前，兵部送来的柴金多算了七钱银子，他也要算清了退回去。
在断案技巧上，海瑞不能明察秋毫，臆则屡中。对付那些疑案，他不是慎重调查，而是“与其冤屈兄长，甘心冤屈弟弟；与其冤屈叔伯，甘心冤屈侄子；与其冤屈贫民，甘心冤屈富民；与其冤屈愚直，甘心冤屈刁顽”。
在争家当的案件中，“与其冤屈小民，甘心冤屈乡宦”；在争言貌的案件中，“与其冤屈乡宦，甘心冤屈小民”。
