但季祁堂能力终究有限，一些修炼者自恃强大，死活不愿将灵兽送回季家，甚至带着灵兽离去，还有一些人本就是吴家的附拥，吴毅不说话，他们也不交回。

以及一部分吴毅早就投毒只待发作的灵兽，共近两百只，都成了五天后灵兽弑主，使得人心惶惶的来因。

这场明里暗里的家族斗争从一开始就注定是一场持久战。吴毅阴狠，又蓄谋了如此之久，而季家百年家业不可撼动，明月幽谷在青鹤的管理下秩序井然，季家连带附属小族，上下数千口人，都拧成了一股绳。

派去的万形兽也告知了季祁堂有用的情报，在灵兽发狂前保住了部分的修炼者，但最后被吴毅识破，再没回来。

而中了毒的灵兽，无一不是被抽走了身上的灵力，最后发狂杀死自己的主人而死，能造出这么多如此毒药的人，显而易见就是吴家。

战声未响，硝烟四起，人人自危，不少人将灵兽送至季府寻求庇佑，季祁堂沉默着，将灵脉山崖底自己本打算用来养老的仙境腾出来，一并接应。

而面对季祁堂心有顾虑下保守的应对，吴府愈发猖獗。

开始用卑鄙手段，散播各种谣言，来撇清自己，并分裂灵兽与季家的关系。

造谣是季祁堂最初驯兽时，为了控制灵兽喂它们吃了邪药，如今东窗事发，逼不得已才设法将灵兽唤回去，并且让人误以为是吴家所为。

季家对此并不回应。

再加上召回的灵兽已经在季家待了数十日，并没有放它们回修炼者身边的意思，一些人就听信了这些谣言，逐渐有人上门要求交还灵兽，而朝堂之上，也同时出现了弹劾季祁堂的官员。