تأسست جمعية العلماء المسلمين الجزائريين يوم 5 مايو 1931 في نادي الترقي بالعاصمة الجزائرية على يد الشيخ العلامة عبد الحميد ابن باديس إثر دعوة وجهت إلى كل عالم من علماء الإسلام في الجزائر, من طرف هيئة مؤسسة مؤلفة من أشخاص حياديين ينتمون إلى نادي الترقي غير معروفين بالتطرف، لا يثير ذكرهم حساسية أو شكوكا لدى الحكومة، ولا عند الطرقيين. أعلنوا : أن الجمعية دينية تهذيبية تسعى لخدمة الدين والمجتمع, لا تتدخل في السياسة ولا تشتغل بها.