سید مجتبی بزرگ علوی در بهمن ماه 1282 (دوم فوریه 1904) در تهران به دنیا آمد. پدر او حاج سید ابوالحسن و پدر بزرگش حاج سید محمد صراف نماینده ی نخستین دوره مجلس شورای ملی بود. مادر وی نوه ی آیت اله طباطبایی رکن رکین مشروعست ایران بود. سید ابوالحسن علوی و همسرش خدیجه قمر السادات که خانواده اصیل سنتی و طرفدار مشروطه بودند دارای شش فرزند، سه دختر و سه پسر که مجتبی بزرگ فرزند سوم آنان بود. پدر آقا بزرگ از اعضای حزب دمکرات ایران بود که این حزب به گواه تاریخ از بدو تشکیل در آغاز مشروطه با نفوذ بیگانگان یعنی انگلیس و روس که در آن زمان چشم طمع به ایران دوخته بودند، مقابله می کرد. او به عنوان بازرگان با آلمان معاملات تجاری داشت و در هنگام جنگ جهانی اول در این کشور اقامت داشته و پس از اتمام جنگ نیز اینجا ماند.
آقا بزرگ به همراه برادر بزرگش مرتضی در سال 1920 (99/1289 شمسی) جهت تحصیل روانه ی آلمان شد و دوران دبیرستان را در شهرهای مختلف از جمله شهری که امروزه در لهستان قرار گرفته گذراند. در سال 1927 (1305 و 1306 شمسی) پدر وی یک شکست بزرگ تجاری را تاب نیاورده و خودکشی کرد. یک سال پس از این واقعه تلخ بود که آقا بزرگ از دانشگاه مونیخ فارغ التحصیل شد اما نتوانست تاب بیاورد و به ایران بازگشت. در آن زمان یک بورس تحصیلی برای ادامه تحصیل در آلمان به وی تعلق می گرفت اما با این وجود علاقه ای نشان نداد و در شیراز به عنوان معلم در خدمت معارف قرار گرفت.