Chùa được khởi công xây dựng vào mùa đông tháng mười âm lịch năm 1049.
Chùa chỉ có một gian nằm trên một cột đá ở giữa hồ Linh Chiểu nhỏ có trồng hoa sen. Truyền thuyết kể lại rằng, chùa được xây dựng theo giấc mơ của vua Lý Thái Tông (1028-1054) và theo gợi ý thiết kế của nhà sư Thiền Tuệ. Vào năm 1049, vua đã mơ thấy được Phật bà Quan Âm ngồi trên tòa sen dắt vua lên toà. Khi tỉnh dậy, nhà vua kể chuyện đó lại với bày tôi và được nhà sư Thiền Tuệ khuyên dựng chùa, dựng cột đá như trong chiêm bao, làm toà sen của Phật bà Quan Âm đặt trên cột như đã thấy trong mộng và cho các nhà sư đi vòng xung quanh tụng kinh cầu kéo dài sự phù hộ, vì thế chùa mang tên Diên Hựu.
Hằng năm cứ đến ngày 8 tháng 4 Âm lịch, vua lại tới chùa làm lễ tắm Phật. Các nhà sư và nhân dân khắp Kinh thành Thăng Long cùng dự lễ. Sau lễ tắm Phật là lễ phóng sinh, vua đứng trên một đài cao trước chùa thả một con chim bay đi, rồi nhân dân cùng tung chim bay theo trong tiếng reo vui của một ngày hội lớn.
Đến năm 1105, vua Lý Nhân Tông cho sửa ngôi chùa và cho dựng trước sân hai tháp lợp sứ trắng. Năm 1108, Nguyên phi Ỷ Lan sai bày tôi đúc một cái chuông rất to, nặng den một vạn hai nghìn cân, đặt tên là “Giác thế chung” (Quả chuông thức tỉnh người đời). Đây được xem là một trong tứ đại khí – bốn công trình lớn của Việt Nam thời đó – là: tháp Báo Thiên, chuông Quy Điền, vạc Phổ Minh và tượng Quỳnh Lâm. “Giác thế chung” đúc xong nặng quá không treo lên được, để dưới mặt đất thì đánh không kêu. Người ta đành bỏ chuông xuống một thửa ruộng sâu bên chùa Nhất Trụ, ruộng này có nhiều rùa, do đó có tên la Quy Điền chuông (chuông ruộng rùa). Đến thế kỷ 15, giặc Minh xâm lược, chiếm thành Đông Quan (Hà Nội). Năm 1426 Lê Lợi đem nghĩa quân Lam Sơn ra đánh, vây thành rất gấp. Quân Minh thiếu thốn vũ khí đạn dược, tướng Minh là Vương Thông bèn sai người đem phá chuông Quy Điền lấy đồng. Quân Minh thua trận, nhưng chuông Quy Điền thì không còn nữa.
Văn bia tháp Sùng thiện diên linh (chùa Đọi, Hà Nam), năm 1121 viết: “Do lòng sùng kính đức Phật và dốc lòng mộ đạo nhân quả (đạo Phật) nên hướng về vườn Tây Cấm nổi danh (Ngôi vườn ở phía tây cấm thành Thăng Long đời Lý) mà xây ngôi chùa sáng Diên Hựu theo dấu vết chế độ cũ, cùng với ý mưu mới của nhà vua (ý nói: theo dấu vết lề lối xây dựng chùa đời Lý Thánh Tông, có thêm ý mới của Lý Nhân Tông mà chữa lại chùa đẹp hơn trước)”. Cạnh chùa Một Cột ngày nay còn có một ngôi chùa có cổng tam quan, với ba chữ “Diên hựu tự”, là một ngôi chùa mới được xây dựng khoảng đầu thế kỷ 18, phụ vào với chùa Một Cột.
Toàn cảnh chùa Một CộtĐến thời nhà Trần, chùa đã không phải là ngôi chùa nhà Lý nữa vì sách cũ đã ghi: Năm 1249, “…mùa xuân, tháng giêng, sửa lại chùa Diên Hựu, xuống chiếu vẫn làm ở nền cũ…”.
Chùa Một Cột được trùng tu vào khoảng những năm 1840-1850 và vào năm 1922. Đài Liên Hoa chúng ta thấy hiện nay được sửa chữa lại năm 1955 do kiến-trúc-sư Nguyễn Bá Lăng đảm-nhiệm.