在孔子死后第二年（前478年），当时人就将他所居之堂屋立为孔庙，以便于岁时奉祀。

当时的孔庙仅有庙屋三间，内藏孔子生前所用的衣冠、车服、礼器等等。

初期的孔庙是很简陋的，与住宅联在一起，孔子一生俭朴，仅有故宅三间。

他死之后，其后裔在简陋的故宅中奉祀孔子，才依庙建宅。

再后来，随着孔子地位及其子孙官位的升高，孔氏住宅日益扩展。

曹魏时期，又于庙外“广为屋宇，以居学者”，设教讲学。

到北宋末期，孔氏后裔住宅已扩大到数十间，有一些规模了。

到金代，孔子后裔住宅在庙东已有“客馆”、“客位。”、“斋堂。”、“宅厅。”、“恩庆堂。”、“双桂堂。”等建筑。

直到现在。

整个孔府占地约74公顷，有古建筑480间，分前后九进院落，中、东、西三路布局。

东路即东学，建一贯堂、慕恩堂、孔氏家庙及作坊等。

西路即西学，有红萼轩、忠恕堂、安怀堂及花厅等。

孔府的主体部分在中路，前为官衙，有三堂六厅，后为内宅，有前上房、前后堂楼、配楼、后六间等，最后为花园。

府内楼堂厅轩栉次鳞比，长廊曲径，扑朔迷离，雕梁画栋，富丽堂皇。

府内存有著名的孔府档案和大量文物，其珍贵程度无可估量。

是中国现存规模最大、建筑最豪华的封建官僚贵族府第，号称“天下第一家”。