宇智波一族并没有跟随宇智波斑的原因较为复杂。首先，斑的行为和决策在很大程度上影响了宇智波一族在木叶村的形象。他曾与九尾一起攻击木叶村，导致四代火影夫妻以及其他许多忍者和平民丧生。这种行为使得宇智波一族在木叶村中受到了怀疑和监视。

其次，斑的激进行为和战略选择与宇智波一族的意愿产生了分歧。宇智波整体厌战，而斑却坚持战斗，这使得宇智波一族很难再跟随他。此外，宇智波一族在选择火影时，更倾向于支持柱间，因为他们认为柱间是大功臣，应该是火影。

再者，宇智波一族之所以灭族，部分原因是因为带土的行动。带土在玖辛奈分娩时袭击村子，通灵九尾，导致大量伤亡。这使得宇智波一族被木叶高层怀疑，进一步加剧了与斑和带土的分歧。

因此，可以说并非是宇智波斑抛弃了宇智波一族，而是宇智波一族在某种程度上抛弃了斑。当斑重新回到木叶村后，他与千手柱间展开了一场大战，这也让千手扉间对宇智波一族产生了深深的疑虑。