当时朝廷正在建昌陵，昌陵工程是成帝朝巨大的劳民工程，贵戚近臣子弟趁机垄断经营，盘剥牟利。别人都不敢碰，只有在翟方进敢于深挖，查出多达几千万的赃款。成帝认为他有公卿之才，想考察一下他治理百姓的能力，于是调任翟方进为京兆尹。翟方进到任后，严厉打击豪强，京城权贵都畏惧他。当时胡常任青州刺史，听说后，写信给翟方进：“听说您的政令十分严明，作为京兆尹固然算得上能干，但恐怕有些做法并不合适。”翟方进明白他的意思，此后才稍稍有所收敛。
翟方进在京兆尹任上三年，永始二年升任御史大夫。几个月后，丞相薛宣因广汉郡盗贼蜂起，以及在邛成太后丧事期间，三辅官员横征暴敛激起民怨，被贬为平民。翟方进也因当年做京兆尹办理丧事时，骚扰了百姓，降职为执金吾。但仅过了二十几天，由于丞相职位空缺，群臣大多举荐翟方进，成帝也赏识他的才能，于是提拔翟方进为丞相，封为高陵侯，食邑一千户。
翟方进身居高位富贵之后，后母仍然在世。翟方进奉养后母十分尽心。后母去世，下葬36天，翟方进就脱去丧服回来处理公务。他认为身为丞相，遵从国家制度优先于私人孝礼，这就是“通明相”的特点：通晓经义，但不会迂腐死守经学教条；礼法可以为朝廷公务让步。对比后世很多儒生，翟方进的经学是用来治国、守制度，而不是用来博虚名。他担任丞相期间，公正廉洁，不接受私人请托，也不让这类请托通行于各郡国。但他执法严苛深刻，弹劾州牧、郡守和九卿时，奏章措辞严厉，极力诋毁，因此被中伤、打击的人很多。像陈咸、朱博、萧育、逢信、孙闳等人都是京城世家出身，凭借才能年轻时便历任州牧、郡守和九卿，在当时很有名望。而翟方进出身普通，却后来居上，十多年间就官至丞相。他依据法律弹劾陈咸等人，最终都使他们被罢免。
陈咸很早就进入仕途，从元帝初年就在朝中任职，成帝即位后，历任刺史、太守，阳朔年间甚至被王章推荐为御史大夫人选。而那时翟方进刚从博士升刺史，两人起点差距很大。翟方进任京兆尹时，陈咸入朝为少府，两人关系很好。而逢信凭藉政绩优等，由郡守历任京兆尹、太仆，升任卫尉，官职履历也都在翟方进之上。等到御史大夫职位空缺，陈咸、逢信、翟方进三人都是知名公卿，都在候选名单之中，最后翟方进胜出，自然引起陈咸、逢信的不满。恰逢丞相薛宣的案件牵连到翟方进，成帝派五位二千石官员一同会审丞相和御史大夫。陈咸在审问中诘难翟方进，想抓住他的把柄，翟放进因此怀恨在心。
陈汤早年受到王凤、王音重用，逢信、陈咸都与陈汤交好，靠他获得过推荐。但王商上台后憎恨陈汤，陈汤被免职流放。当时翟方进刚当上丞相，陈咸内心惶恐，让小冠杜子夏前去试探翟方进的态度，想让他为自己辩解开脱。杜子夏见了翟方进，揣摩出他的真实意图，不敢替陈咸求情。不久，翟方进果然上奏弹劾陈咸和逢信，说他们奸邪贪腐，谋求私利，欲望无度。明明知道陈汤为人奸险、巧言令色，还主动结交，馈赠财物，以谋取陈汤的举荐。还引用孔子的话“鄙陋之人，怎能与其侍奉国君！”直接把两人定性为道德上卑劣的小人，请求免去他们的官职以昭示天下。翟方进的奏章确实写得又狠又毒，奏请得到批准，陈咸、逢信因此被免官。
过了两年多，成帝下诏举荐方正、敢于直言的人才，红阳侯王立举荐陈咸参加对策，陈咸被任命为光禄大夫兼给事中。这对翟方进来说是不可接受的～他亲手打倒的人，居然又回来了。于是翟方进再次上奏，措辞比第一次更狠，直接把陈咸说成不知羞耻之人，同时弹劾举荐人王立弄虚做假。成帝下诏免去陈咸的职务，但王立是成帝的舅舅，就没有追究王立的责任。
过了几年，淳于长案爆发，王立因收了淳于长的贿赂替他说情，被翟方进抓住。翟方进弹劾王立：“心怀奸邪，扰乱朝政，企图蛊惑误导君王，狡诈无道，请求将王立下狱。”成帝依然护着自己的舅舅，只是将王立遣送回封国。翟方进不甘心就此罢手，他转而攻击王立的党羽，他揪出后将军朱博、巨鹿郡太守孙闳、原光禄大夫陈咸三人，说：“他们都与王立往来亲密，互为心腹，有背弃公义，结为死党的盟约，互相攀援、至死方休。他们内心不仁，外表有才，勇猛果敢，但施政残暴酷虐，毫无爱民之心。孔子说：“一个人如果不仁，礼对他有什么用？一个人如果不仁，乐对他有什么用？”意思是不仁之人，礼乐对他毫无约束；有才却不仁，是国家的祸患。从前季孙行父说过：‘见到对君主有益的善人，就爱护他，如同孝子奉养父母；见到奸恶之人就惩治他，如同猛禽追捕鸟雀。就算翅膀受伤，也不躲避。臣有幸身为丞相，不敢不拼死尽忠。请求罢免朱博、孙闳、陈咸，遣返原籍，铲除这伙奸雄朋党，断绝一众奸人的奢望。”
翟方进这一次更狠，把这三个人打包，用同一套话术一锅端。陈咸遭到终身禁锢，遣返故乡，最终忧愤而死。一个从元帝初年就在朝中任职、资历深厚的老臣，在翟方进的轮番打击下，就这样彻底退出历史舞台，以悲剧收场。他的悲剧在于：他得罪了一个既清廉又狠辣、既守法又记仇的人。翟方进不是那种可以靠人情打动的庸官，他“持法深刻”，一旦被他盯上，他就会用最严厉的法律武器、最毒辣的文字把你彻底打倒，而且每次出手都站在“公义”的制高点上，让你无法反驳。而且会穷追不舍，以一案牵连数人，以一人株连一党。而这也为翟方进自己后来的悲剧结局埋下了因果。