בחז"ל הביטוי הוא רק "שיקול הדעת", ולעומת זאת המילה שיקול לא קיימת בלשונם בפני עצמה.
לראשונה בתלמוד בהלכות דיינים ”טעה בדבר משנה - חוזר, אלא דטעה בשיקול הדעת. היכי דמי בשיקול הדעת? אמר רב פפא: כגון תרי תנאי ותרי אמוראי דפליגי אהדדי, ולא איתמר הלכתא לא כמר ולא כמר, וסוגיין דעלמא אליבא דחד מינייהו, ואזל איהו ועבד כאידך - היינו שיקול הדעת“ (בבלי, מסכת סנהדרין – דף ו, עמוד ב)
תרגום חופשי: אם טעה בדבר המפורש במשנה ודאי שחוזר! אלא מדובר שטעה בשיקול הדעת. איזו דוגמא יש לטעות שיקול הדעת? אמר רב פפא: כגון שני תנאים או שני אמוראים שנחלקו בדבר, ואמנם לא נאמרה הלכה כאחד מהם, אבל מהלך הלימוד הרווח בבתי המדרש תואם לאחד מהם, והדיין הזה פסק לפי דברי השני - זהו שיקול הדעת.