因为官学要求身份地位，地方上就产生了民办的教育组织——书院。当时比较著名的四大书院有：江西九江的白鹿洞书院、湖南长沙的岳麓书院、河南登封太室山南麓的太室书院（后经范仲淹改名为嵩阳书院），还有一个就是河南商丘的应天书院。应天书院是离范仲淹所在的朱家最近的一个书院，这是他选择到这里读书的原因之一。还有一个很重要的原因是，书院的学生食宿费是全免的，对不愿再接受朱家钱财而一贫如洗的范仲淹来说，这解决了他面临的最大问题。
1009年2月，应天府中一个叫曹诚的人，他拿出大量钱财并雇来工人，在睢阳书舍创办人戚同文住的地方，建造了150间房子。之后又收集千余卷书置于房内，向外广招学生和有名的文人前来讲习。一时之间，讲学的状况十分兴盛，学子们纷纷前来听学。于是应天府向朝廷启奏了这个情况，宋真宗给这个书舍赐名为“应天府书院”，命戚同文的孙子戚舜宾主持院务，应天府的幕职官管理、出资人曹诚为书院助教。应天府书院规模宏大、人才济济，也是吸引范仲淹的一个因素。
应天府书院前身睢阳书舍的创办人戚同文，是个远近驰名的学者。他生长于五代，因为希望天下统一，所以取名同文。戚同文从小就是个孤儿，由祖母“携育于外氏”，范仲淹的境遇与他类似，也许范仲淹是想在这里获得精神上的慰藉。戚同文被赞为“纯质尚信义”，他最爱接济有困难者及贫乏者，一生不积财，从不以自己为先。从范仲淹一生的行事中，我们也可以发现，有不少确是戚同文的遗风。