陈志善以为，朝廷对吴家世代有恩，他吴曦凭什么与朝廷相左？据我观察，吴曦此人豪爽仗义，不会忘恩负义。还有，可以派一个副职同去，令其有什么异动及时报告，如同在他的身边安插一个耳目，他能如何不轨。

韩侂胄让吴伯刚对此事表态。

吴伯刚明确回答，决不能让吴曦回川。吴氏在四川盘踞近百年，根深蒂固，利州一带派外人为官，处处受吴家掣肘，再让他回去，无疑是养痈贻患，后果难测。孝宗年间，即有此说。

那吴家将领世代忠良，赤胆忠心保我大宋，何以到了吴曦身上，就会变节反目?

吴伯刚听到此处，只好放缓口气:郡王，我也没说吴曦此去，必定会变节反目，只是有这种可能，再说此人颇有城府，能言善辩，不得不防啊。

那晩，吴曦在韩府，也流露出对用人先防策略的怀疑。对天发誓，一定忠心保国。他也觉得，未用先防似有不妥，疑人不用，用人不疑嘛。

韩侂胄说，“我觉得此人尚可，可以到地方带兵。即使不去四川，到其他地方也可以。”

吴伯刚急忙提醒：“郡王，此人万万不可授之以一方兵镇，倘若不虞，你我可是罪人啊！”

其实，直到这个时候，韩侂胄还没有下决心，同意吴曦回蜀，只不过是与他交流一些看法。但吴伯刚的这句话惹恼了他。胸中的不满象燃烧的火苗，腾地一下就上来了，“要当罪人，还轮不上你。”

事后，韩侂胄又征求左丞相谢深甫的意见。谢察言观色，给出这样的建议：

吴家对朝廷是忠心的，吴曦是个能干的将帅，郡王有识人之明，放吴曦到地方带兵完全是可以的。吴枢密说的也有道理，不怕一万，就怕万一吗。郡王说得也对，不去四川，可以去其他地方吗。选个离四川近的地方让他去，一来他回老家方便些，二来看看他到地方带兵究竟怎样，过两年，要是表现好了，他还想回去，那就让他去好了。

韩侂胄高兴地拍着他的肩膀，你这个主意好。

胡松寿的事很快就让程松知道了，后悔不迭，生怕师王找他的麻烦，吴曦找到他，说右丞相吴伯刚纵容包庇部下，至使好人冤枉至死，如此目无纲纪，枉为重臣，请谏议大夫上折弹劾。

苏师成找到程松，透露一个重要信息：师王与吴伯刚在吴太尉回蜀的问题上，闹得面红耳赤，这吴伯刚还专门上了个折子，劝皇上无论如何不要让吴曦回蜀任职。

第二天，谏议大夫程松上折弹劾，指责吴伯刚目无君上，包庇昏官，不宜践位丞相之职。

几天后，朝廷下诏：

吴曦为荊州都统制兼知襄阳府。

罢吴伯刚右丞相、枢密院使，任资政殿学士，判太平州事。翌日，改为资政殿大学士。

人与人相处，总是在寻求相互妥胁，你退一步，我让一点，达成共识，事情就成了。