呼之则来挥之则去的原句是“使黯任职居官，无以逾人。然至其辅少主，守城深坚，招之不来，麾之不去，虽自谓贲育亦不能夺之矣。”典出《史记·汲郑列传》。

可以解释为让汲黯当官执事，没有过人之处。然而他能辅佐年少的君主，坚守已成的事业，以利诱之他不会来，以威驱之他不会去，即使有人自称像孟贲、夏育一样勇武非常，也不能憾夺他的志节。