ขณะที่ด้านการงานเริ่มมีชื่อเสียง แต่ด้านชีวิตส่วนตัวของสุนทรภู่กลับมีอุปสรรค เนื่องจาก ไปมีความสัมพันธ์กับนางข้าหลวงในพระราชวังหลังชื่อ จัน และได้ล่วงรู้ไปถึงพระกรรณ ของกรมพระราชวังหลัง สุนทรภู่และแม่จันจึงถูกนำตัวไปจองจำไว้ ครั้น พ.ศ. ๒๓๕๐ เมื่อพ้นโทษแล้ว สุนทรภู่ได้เดินทางไปเยี่ยมบิดาที่บ้านกร่ำ เมืองแกลง ก็ได้แต่งนิราศเรื่องแรกคือ นิราศเมืองแกลง ขึ้น
เมื่อกลับจากเมืองแกลงแล้ว สุนทรภู่ได้แม่จันเป็นภรรยา และในปลายปีนั้นเอง สุนทรภู่ได้ตามเสด็จพระสัมพันธวงศ์เธอ พระองค์เจ้าปฐมวงศ์ พระโอรส ในกรมพระราชวังหลัง ซึ่งทรงผนวชอยู่ที่วัดระฆังโฆสิตาราม ไปนมัสการพระพุทธบาทสระบุรี อันเป็นที่มาของ นิราศพระบาท ในช่วงนี้ สุนทรภู่กลับไปมีอาชีพบอกบทดอกสร้อยสักวา และบอกบทละครให้คณะนายบุญยัง ซึ่งเป็นคณะละครนอกที่มีชื่อเสียงในสมัยนั้น
ต่อมา ในช่วงปลายรัชกาลที่ ๑ ต่อต้นรัชกาลที่ ๒ ก็มีเหตุให้สุนทรภู่ต้องจากครอบครัว ไปพักอยู่ที่เมืองเพชรบุรีเป็นเวลาหลายปี ระหว่างอยู่ที่เมืองเพชรบุรี สุนทรภู่ได้รับการช่วยเหลือเกื้อกูลจากหม่อมบุนนาก ในกรมพระราชวังหลัง ซึ่งได้ออกไปทำนา ภายหลังจากที่กรมพระราชวังหลังทิวงคตแล้ว สุนทรภู่เลี้ยงชีพด้วยการแต่งกลอน และสอนหนังสือ และคงมีชื่อเสียงอยู่ไม่น้อย จึงมีผู้รู้จักสนิทสนมคุ้นเคยหลายคน มีศิษย์ทั้งชายหญิงมาเรียนเขียนอ่าน และฝึกหัดแต่งกลอนเป็นจำนวนมาก ในนิราศเมืองเพชร ซึ่งสุนทรภู่แต่งขึ้น ในคราวเดินทางไปเมืองเพชรบุรี ครั้งที่ ๒ เมื่อ พ.ศ. ๒๓๗๔ ในรัชกาลที่ ๓ นั้น มีเนื้อความรำลึกถึงความหลัง เมื่อเดินทางมาเมืองเพชรบุรีครั้งแรกแทรกอยู่หลายตอน รวมถึงได้บอกเดือนปี ที่เดินทางกลับกรุงเทพฯ ในครั้งนั้นว่า
"แต่เดือนสี่ปีระกานิราร้าง ไปอยู่บางกอกไกลกันใจหาย"
เดือนสี่ปีระกาดังกล่าวนี้ตรงกับ พ.ศ. ๒๓๕๖
ช่วงชีวิตที่รุ่งเรืองในรัชกาลที่ ๒
ชีวิตของสุนทรภู่เริ่มรุ่งเรือง เมื่อพระบาทสมเด็จพระพุทธเลิศหล้านภาลัยโปรดเกล้าฯ ให้เข้ารับราชการในกรมพระอาลักษณ์ เมื่อ พ.ศ. ๒๓๖๓ ทั้งนี้ คงเนื่องมาจากชื่อเสียง และผลงานประพันธ์ของสุนทรภู่ ได้แพร่หลายไปยังราชสำนัก เช่น เรื่อง ลักษณวงศ์ ซึ่งแต่งก่อนที่จะเข้ารับราชการ เมื่อเข้ารับราชการแล้ว สุนทรภู่ได้แสดงความสามารถในเชิงกลอน จนเป็นที่พอพระราชหฤทัยของ พระบาทสมเด็จพระพุทธเลิศหล้านภาลัยหลายครั้ง เช่น ในการทรงพระราชนิพนธ์บทละครเรื่อง รามเกียรติ์ สุนทรภู่สามารถแต่งกลอนต่อบทพระราชนิพนธ์ ตอนศึกสิบขุนสิบรถ พรรณนารถทรงของทศกัณฐ์ ให้เห็นภาพความยิ่งใหญ่ได้ชัดเจน บทพระราชนิพนธ์ และบทที่สุนทรภู่แต่งต่อ มีดังนี้
บทพระราชนิพนธ์
รถที่นั่ง บุษบกบัลลังก์ตั้งตระหง่าน
กว้างยาวใหญ่เท่าเขาจักรวาล ยอดเยี่ยมเทียมวิมานเมืองแมน
ดุมวงกงหันเป็นควันคว้าง เทียมสิงห์วิ่งวางข้างละแสน
สารถีขับขี่เข้าดงแดน พื้นแผ่นดินกระเด็นไปเป็นจุณ
บทที่สุนทรภู่แต่งต่อ
นทีตีฟองนองระลอก คลื่นกระฉอกกระฉ่อนชลข้นขุ่น
เขาพระเมรุเอนเอียงอ่อนละมุน อนนต์หนุนดินดานสะท้านสะเทือน
ทวยหาญโห่ร้องก้องกัมปนาท สุธาวาสไหวหวั่นลั่นเลื่อน
บดบังสุริยันตะวันเดือน คลาดเคลื่อนจัตุรงค์ตรงมา
ต่อมาเมื่อพระบาทสมเด็จพระพุทธเลิศหล้านภาลัยทรงแก้ไขบทพระราชนิพนธ์รามเกียรติ์ รัชกาลที่ ๑ ตอนนางสีดาผูกคอตาย ให้สั้นและกระชับ เหมาะที่จะใช้เล่นละครได้อย่างดีว่า
จึงเอาผ้าผูกพันกระสันรัด เกี่ยวกระหวัดกับกิ่งโศกใหญ่
สุนทรภู่ก็สามารถแต่งต่อบทพระราชนิพนธ์ให้หนุมานสามารถช่วยสีดาได้โดยเร็ว ตามพระราชประสงค์ว่า
ชายหนึ่งผูกศออรทัย แล้วทอดองค์ลงไปจะให้ตาย
บัดนั้น วายุบุตรแก้ได้ดังใจหมาย
ด้วยความดีความชอบดังกล่าว สุนทรภู่ จึงได้รับพระราชทานบรรดาศักดิ์เป็น ขุนสุนทรโวหาร มีหน้าที่เป็นกวีที่ทรงปรึกษาในการทรงพระราชนิพนธ์บทกวีเรื่องต่างๆ และโปรดเกล้าฯ ให้ตามเสด็จอย่างใกล้ชิด ดังคำประพันธ์ที่สุนทรภู่ได้ถ่ายทอดความซาบซึ้งใจ ไว้ในนิราศภูเขาทองว่า
"เคยหมอบใกล้ได้กลิ่นสุคนธ์ตรลบ ละอองอบรสรื่นชื่นนาสา"
นอกจากตำแหน่งหน้าที่ทางราชการแล้ว สุนทรภู่ยังได้รับพระราชทานบ้านหลวงให้อยู่ ณ บริเวณท่าช้างวังหลวง นอกกำแพงพระบรมมหาราชวัง ด้านตะวันตกเฉียงเหนือ ได้รับความสุขสบายสมฐานะ ช่วงปลายรัชกาลยังโปรดเกล้าฯ ให้สุนทรภู่ถวายพระอักษร แด่พระเจ้าบรมวงศ์เธอ เจ้าฟ้าอาภรณ์ ซึ่งสุนทรภู่ได้แต่งเรื่อง สวัสดิรักษา ถวาย ผลงานอื่นในระยะนี้ ของสุนทรภู่ก็คือ กลอนนิทานเรื่อง สิงหไกรภพ ตอนต้น
ในรัชกาลพระบาทสมเด็จพระพุทธเลิศหล้านภาลัยนี้ แม้สุนทรภู่จะมีชีวิตราชการที่รุ่งเรือง เนื่องจาก การได้เป็นกวีที่ทรงโปรดปรานก็ตาม แต่เพราะชอบดื่มสุราอยู่เป็นนิจ จึงทำให้ชีวิตบางช่วงตกต่ำ และชีวิตครอบครัวไม่ราบรื่น เช่น ครั้งหนึ่งสุนทรภู่เมาสุรา แล้วไปทำร้ายญาติผู้ใหญ่ของภรรยา จึงถูกนำตัวไปขังคุก แต่ไม่นานก็พ้นโทษ เพราะสามารถต่อกลอนพระราชนิพนธ์ได้เป็นที่พอพระราชหฤทัย ขณะอยู่ในคุก สุนทรภู่เริ่มแต่งนิทานคำกลอนเรื่องเอก คือ พระอภัยมณี ส่วนประสบการณ์ขณะอยู่ในคุกนั้น สุนทรภู่นำไปเล่าไว้ในบทเสภาเรื่อง ขุนช้างขุนแผน ตอนกำเนิดพลายงาม
อย่างไรก็ตาม แม้จะมีเหตุการณ์บางอย่างที่ทำให้ชีวิตของสุนทรภู่ผันแปรไปบ้าง แต่นับได้ว่า ในรัชกาลที่ ๒ เป็นช่วงชีวิตที่รุ่งเรือง และประทับใจสุนทรภู่เป็นอย่างมาก กล่าวคือ สุนทรภู่ได้รับพระราชทานยศถาบรรดาศักดิ์ ซึ่งสันนิษฐานว่า ตอนปลายรัชกาล สุนทรภู่คงได้เลื่อนบรรดาศักดิ์เป็น หลวงสุนทรโวหาร
นับว่าสุนทรภู่ได้รับพระมหากรุณาธิคุณอย่างยิ่ง อันทำให้สุนทรภู่จงรักภักดี เทิดทูน และรำลึกถึง พระบาทสมเด็จพระพุทธเลิศหล้านภาลัยอยู่เสมอ ดังปรากฏในงานนิพนธ์หลายเรื่องของท่าน ทั้งโดยตรง และโดยอ้อม เช่น ในนิราศพระประธม นิราศภูเขาทอง ตอนผ่านตำบลสามโคก และในเรื่องพระอภัยมณี โดยกำหนดให้วันสวรรคตของท้าวสุทัศน์ และพระมเหสี ซึ่งเป็นพระบิดาและพระมารดา ของพระอภัยมณีและศรีสุวรรณ ตรงกับวันสวรรคตของ พระบาทสมเด็จพระพุทธเลิศหล้านภาลัย อีกทั้งยังได้บรรยายความโศกสลดของพระอภัยมณี ไว้อย่างสะเทือนใจ
พระบรมราชานุสาวรีย์ พระบาทสมเด็จพระพุทธเลิศหล้านภาลัย รัชกาลที่ ๒ วัดอรุณราชวราราม กรุงเทพฯ
เมื่อพระบาทสมเด็จพระพุทธเลิศหล้านภาลัยเสด็จสวรรคต และ พระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัวเสด็จขึ้นครองราชย์ ชีวิตราชการของสุนทรภู่ในฐานะกวี ที่ทรงปรึกษาก็สิ้นสุดลง สุนทรภู่ออกจากราชการและออกบวช ด้วยเห็นว่าตนไม่มีที่พึ่ง อีกประการหนึ่งนั้น สุนทรภู่คงจะเกรง "ราชภัย" จากพระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัว ซึ่งสาเหตุคงเนื่องมาจาก สุนทรภู่เคยท้วงติง และแก้กลอนพระราชนิพนธ์ พระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัว เมื่อครั้งดำรงพระราชอิสริยยศเป็น สมเด็จพระเจ้าลูกยาเธอ กรมหมื่นเจษฎาบดินทร์ ในที่ประชุมกวีราชสำนัก จนทำให้ไม่พอพระราชหฤทัย กล่าวคือ ทรงพระราชนิพนธ์บทละครในเรื่อง อิเหนา ตอนบุษบาเล่นธาร และบทละครนอกเรื่อง สังข์ทอง ตอนเลือกคู่ ตามที่ทรงได้รับมอบหมาย สุนทรภู่ได้ทักท้วงบทพระราชนิพนธ์ เหตุการณ์ครั้งนี้ สมเด็จฯ กรมพระยาดำรงราชานุภาพ ทรงเล่าไว้ในพระนิพนธ์ ประวัติสุนทรภู่ ว่า
"...เมื่อทรงแต่งแล้วถึงวันจะอ่านถวายตัว พระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัว มีรับสั่งวานสุนทรภู่อ่านตรวจดูเสียก่อน สุนทรภู่อ่านแล้วกราบทูลว่า เห็นดีอยู่แล้ว ครั้นเสด็จออก เมื่อโปรดให้อ่านต่อหน้ากวีที่ทรงปรึกษาพร้อมกัน ถึงบทแห่งหนึ่งว่า
‘น้ำใสไหลเย็นแลเห็นตัวปลาแหวกกอบัวอยู่ไหวไหว’
สุนทรภู่ติว่ายังไม่ดี ขอแก้เป็น
‘น้ำใสไหลเย็นเห็นตัวปลา แหวกว่ายปทุมาอยู่ไหวไหว’
โปรดตามที่สุนทรภู่แก้ พอเสด็จขึ้นแล้ว พระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัวก็กริ้ว ดำรัสว่า เมื่อขอให้ตรวจทำไมจึงไม่แก้ไข แกล้งนิ่งเอาไว้ติหักหน้าเล่นกลางคัน . . .
ตอนท้าวสามลจะให้ลูกสาวเลือกคู่ ทรงแต่งคำปรารภของท้าวสามลว่า
‘จำจะปลูกฝังเสียยังแล้ว ให้ลูกแก้วสมมาดปรารถนา’
ครั้นถึงเวลาอ่านถวาย สุนทรภู่ถามขึ้นว่า ‘ลูกปรารถนาอะไร’ พระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัวทรงต้องแก้ว่า ‘ให้ลูกแก้วมีคู่เสน่หา’ ทรงขัดเคืองสุนทรภู่ว่า แกล้งปรามาสอีกครั้งหนึ่ง แต่นั้นก็ว่า พระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัวทรงมึนตึงต่อสุนทรภู่มาจนตลอดรัชกาลที่ ๒"
ช่วงชีวิตในรัชกาลที่ ๓
ในรัชกาลที่ ๓ ระหว่าง พ.ศ. ๒๓๖๗ - ๒๓๙๔ เป็นช่วงที่สุนทรภู่ออกบวช และลาสิกขา แล้วออกบวชอีกครั้งหนึ่ง เป็นช่วงที่สุนทรภู่ได้รับการอุปการะจากเจ้านายหลายพระองค์
สมเด็จพระเจ้าบรมวงศ์เธอ กรมพระยาดำรงราชานุภาพ ทรงพระราชนิพนธ์หนังสือเรื่อง "ประวัติสุนทรภู่"
หลังจากที่พระบาทสมเด็จพระพุทธเลิศหล้านภาลัยเสด็จสวรรคต สุนทรภู่ได้ออกบวช ที่วัดราชบุรณะ แล้วเดินทางไปหัวเมืองหลายแห่งเป็นเวลา ๓ ปี จึงกลับมาจำพรรษา ที่วัดราชบุรณะ ต่อมามีเหตุให้ต้องย้ายไปอยู่ที่วัดอื่นๆ อีก อันได้แก่ วัดอรุณราชวราราม วัดพระเชตุพนวิมลมังคลาราม และวัดมหาธาตุ ขณะที่บวชได้เดินทางไปยังหัวเมืองต่างๆ เช่น ไปพิษณุโลกเพื่อตามหาลายแทง ไปนมัสการเจดีย์ภูเขาทอง ที่พระนครศรีอยุธยา ไปเมืองเพชรบุรีด้วยกิจธุระของเจ้านาย ไปวัดเจ้าฟ้าอากาศนาถนรินทร์ ที่พระนครศรีอยุธยา เพื่อแสวงหายาอายุวัฒนะ ไปนมัสการพระแท่นดงรังที่กาญจนบุรี การเดินทางไปหัวเมืองต่างๆ ดังกล่าว สุนทรภู่มีผู้ติดตามหลายคน ทั้งบุตรชาย บุตรบุญธรรม และลูกศิษย์ งานประพันธ์ที่สุนทรภู่สร้างสรรค์ขึ้นในช่วงนี้จึงเป็นงานประเภทนิราศ ได้แก่ นิราศภูเขาทอง นิราศเมืองเพชร และนิราศวัดเจ้าฟ้า (สำนวนเณรหนูพัด)
แม้ว่าสุนทรภู่จะรำพันถึงชีวิตในช่วงนี้ว่า ตกอับไร้ที่พึ่งไว้ในนิราศของท่าน เช่น นิราศภูเขาทอง ว่า
"สิ้นแผ่นดินสิ้นนามตามเสด็จ ต้องเที่ยวเตร็จเตร่หาที่อาศัย"
แต่สุนทรภู่ก็มิได้ยากไร้ โดยได้รับการอุปการะจากพระเจ้าบรมวงศ์เธอ เจ้าฟ้ากุณฑลทิพยวดี ให้สุนทรภู่เป็นพระอาจารย์ถวายพระอักษรพระราชโอรสในรัชกาลที่ ๒ อีก ๒ พระองค์ คือ เจ้าฟ้าชายกลาง (ต่อมา คือ สมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้ามหามาลา กรมพระยาบำราบปรปักษ์ ต้นราชสกุล มาลากุล) และเจ้าฟ้าชายปิ๋ว (พระเจ้าบรมวงศ์เธอ เจ้าฟ้าปิ๋ว) ในช่วงสั้นๆ เมื่อเจ้าฟ้าทั้ง ๒ พระองค์ ต้องเสด็จเข้าไปประทับ ในพระบรมมหาราชวัง สุนทรภู่ได้แต่ง เพลงยาวถวายโอวาท ถวายเจ้าฟ้าทั้ง ๒ พระองค์ เพื่อถวายคำแนะนำ และแสดงความรู้สึกอาลัยรักที่มีต่อเจ้าฟ้าทั้ง ๒ พระองค์ หลังจากนั้น สุนทรภู่ได้รับการอุปการะจากพระเจ้าบรมวงศ์เธอ พระองค์เจ้าลักขณานุคุณ พระราชโอรส ในรัชกาลที่ ๓ เนื่องจากพระองค์เจ้าลักขณานุคุณโปรดนิทานคำกลอนของสุนทรภู่ โดยเฉพาะเรื่องพระอภัยมณี สุนทรภู่จึงได้แต่งเรื่องพระอภัยมณีต่อในช่วงนี้ และใน พ.ศ. ๒๓๗๔ สุนทรภู่ได้เดินทางไปเมืองเพชรบุรี ตามรับสั่งของ พระองค์เจ้าลักขณานุคุณ ดังกลอนในนิราศเมืองเพชรว่า
"อนาถหนาวคราวอาสาเสด็จ ไปเมืองเพชรบุรินที่ถิ่นสถาน"
และ
"ช่วยชุบเลี้ยงเพียงชนกที่ปกเกศ ถึงต่างเขตของประสงค์คงอาสา"
และได้แต่ง นิราศอิเหนา ถวายพระองค์เจ้าลักขณานุคุณด้วย
รูปปั้นตัวละครในเรื่อง "พระอภัยมณี" ที่ อ.แกลง จ.ระยอง
ครั้นเมื่อพระองค์เจ้าลักขณานุคุณสิ้นพระชนม์ ใน พ.ศ. ๒๓๗๘ สุนทรภู่ขาดผู้อุปการะ จึงได้ลาสิกขา รวมเวลาที่บวชในช่วงแรกนี้ได้ ๑๐ ปี หลังจากลาสิกขาแล้ว สุนทรภู่มีชีวิตที่นับว่า ขัดสน ต้องอาศัยอยู่ในเรือ และเลี้ยงชีพโดยการรับจ้างแต่งกลอน มีรายได้จากผู้ที่มาขอคัดลอกนิทานคำกลอนที่แต่งไว้ คือ พระอภัยมณี และลักษณวงศ์
รูปปั้นตัวละครในเรื่อง "พระอภัยมณี" ที่ อ.แกลง จ.ระยอง
สุนทรภู่ใช้ชีวิตฆราวาสประมาณ ๕ ปี จึงออกบวชอีกครั้งหนึ่งพร้อมกับนายพัด บุตรชาย ซึ่งอายุครบอุปสมบท โดยสมเด็จพระมหาสมณเจ้า กรมพระปรมานุชิตชิโนรส ทรงเป็นผู้อุปถัมภ์เรื่องการบวช สุนทรภู่จำพรรษาที่วัดราชบุรณะ ต่อมา ได้เดินทางไปเมืองสุพรรณบุรี เพื่อหาแร่มาแปรเป็นทองคำ แต่ไม่ประสบผลสำเร็จ การเดินทางครั้งนี้สุนทรภู่ได้แต่ง โคลงนิราศสุพรรณ แต่แต่งเสร็จภายหลังจากไปจำพรรษา ที่วัดเทพธิดารามแล้ว คือ ราว พ.ศ. ๒๓๘๔ เนื่องจากเป็นโคลงที่มีความยาวถึง ๔๖๓ บท
ต่อมา เมื่อสุนทรภู่เดินทางกลับจากสุพรรณบุรีได้ไปจำพรรษา ณ วัดเทพธิดาราม ซึ่งเป็นวัดที่พระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัว ทรงสถาปนาขึ้นจากวัดเดิม ที่ชื่อวัดพระยาไกรสวนหลวง แล้วพระราชทานนามวัดใหม่ เพื่อเฉลิมพระเกียรติพระเจ้าลูกเธอ กรมหมื่นอัปสรสุดาเทพ พระราชธิดา ที่ทรงโปรดปราน ช่วงนี้สุนทรภู่ได้รับการอุปการะจากกรมหมื่นอัปสรสุดาเทพ ดังที่สุนทรภู่กล่าวไว้ในรำพันพิลาปว่า "อยู่วัดเทพธิดาด้วยบารมี" การที่ทรงรับอุปการะ คงเนื่องจากทรงอ่านผลงานเรื่องต่างๆ ของสุนทรภู่ที่ตกทอดมาจากพระองค์เจ้าลักขณานุคุณ พระอนุชา แล้วโปรดเรื่องพระอภัยมณีมาก จึงได้โปรดให้สุนทรภู่แต่งเรื่องพระอภัยมณีถวาย เดือนละ ๑ เล่มสมุดไทย ขณะที่จำพรรษาที่วัดเทพธิดาราม สุนทรภู่เป็นครูสอนภาษาไทยด้วย จึงได้แต่งหนังสือฝึกอ่านเรื่อง พระไชยสุริยา สำหรับให้ศิษย์ได้เล่าเรียน นอกจากนี้คงแต่งเรื่อง สิงหไกรภพต่อ เพื่อถวายกรมหมื่นอัปสรสุดาเทพ อีกเรื่องหนึ่งด้วย ก่อนที่จะลาสิกขาในปีขาล พ.ศ. ๒๓๘๕ สุนทรภู่ได้แต่งเรื่อง รำพันพิลาป ซึ่งได้บันทึกเรื่องราว และความรู้สึกส่วนตัวไว้ เป็นลักษณะอัตชีวประวัติ
กุฏิสุนทรภู่ ที่วัดเทพธิดาราม กรุงเทพฯ ซึ่งสุนทรภู่เคยจำพรรษาอยู่
หลังจากลาสิกขา สุนทรภู่ได้เข้าไปถวายตัวต่อพระบาทสมเด็จพระปิ่นเกล้าเจ้าอยู่หัว ขณะทรงดำรงพระราชอิสริยยศเป็น สมเด็จพระเจ้าน้องยาเธอ กรมขุนอิศเรศรังสรรค์ ซึ่งโปรดเรื่องการบอกบทดอกสร้อยสักวา และบทกลอน ช่วงนี้ สุนทรภู่ได้เดินทางไปนมัสการพระปฐมเจดีย์ และได้แต่ง นิราศพระประธม
ช่วงชีวิตในรัชกาลที่ ๔
เมื่อพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวเสด็จขึ้นครองราชย์เป็นพระมหากษัตริย์พระองค์ที่ ๔ แห่งกรุงรัตนโกสินทร์ ได้โปรดเกล้าฯ สถาปนาสมเด็จพระเจ้าน้องยาเธอ กรมขุนอิศเรศรังสรรค์ ขึ้นเป็นพระบาทสมเด็จพระปิ่นเกล้าเจ้าอยู่หัว มีพระราชอิสริยยศเทียบเท่าพระองค์ และโปรดเกล้าฯ ให้เสด็จไปประทับ ที่พระราชวังบวรสถานมงคล หรือวังหน้า พระบาทสมเด็จพระปิ่นเกล้าเจ้าอยู่หัวจึงโปรดเกล้าฯ ให้สุนทรภู่เข้ารับราชการเป็น เจ้ากรมพระอาลักษณ์ ฝ่ายพระราชวังบวรสถานมงคล และได้รับพระราชทานบรรดาศักดิ์เป็น พระสุนทรโวหาร ชีวิตของสุนทรภู่จึงรุ่งเรือง และมีความสุขอีกครั้งหนึ่ง เมื่ออายุ ๖๖ ปี
ชีวิตครอบครัว
งานประพันธ์ประเภทนิราศซึ่งเป็นลักษณะคล้ายบันทึกส่วนตัวคือ รำพันพิลาปนั้น สุนทรภู่ได้กล่าวถึงสตรีผู้เป็นที่รัก หรือมีความสัมพันธ์เกี่ยวข้องกับท่านหลายคน แต่สตรีที่อยู่ในฐานะภรรยาของสุนทรภู่และมีบุตรด้วยกันนั้นมีอยู่ ๓ คน คือ แม่จัน แม่นิ่ม และแม่ม่วง
สุนทรภู่เริ่มชีวิตครอบครัวกับแม่จัน นางข้าหลวงในพระราชวังหลัง ที่เคยมีความสัมพันธ์กันมาก่อน โดยพระอัครชายาในกรมพระราชวังหลัง (ทองอยู่) ประทานให้ แต่ชีวิตครอบครัวของสุนทรภู่กับแม่จันไม่ได้ราบรื่น มักมีเรื่องโกรธเคืองกันอยู่เสมอ เนื่องจาก สุนทรภู่ชอบดื่มสุราจนเมามาย และในช่วงที่สุนทรภู่รับ ราชการในกรมพระอาลักษณ์ ในรัชกาลที่ ๒ นั้น สุนทรภู่ได้ปันใจให้หญิงอื่น ชื่อ แม่นิ่ม ชาวบางกรวย ดังนั้น แม่จันจึงตัดขาดกับสุนทรภู่ ราว พ.ศ. ๒๓๖๔ สุนทรภู่มีบุตรชายกับแม่จันคนหนึ่งชื่อ พัด ซึ่งได้อยู่กับสุนทรภู่ และติดตามสุนทรภู่เดินทางไปตามหัวเมืองต่างๆ โดยตลอด
ในช่วงต่อมา สุนทรภู่ได้แม่นิ่มเป็นภรรยานับว่า ราบรื่น แต่ก็ต้องจากกัน เมื่อสุนทรภู่ ต้องติดคุก ในรัชกาลที่ ๒ และเมื่อรัชกาลที่ ๒ สวรรคต ก็ต้องพรากจากกันอีกครั้งหนึ่ง เมื่อสุนทรภู่ออกบวช แม่นิ่มนำบุตรชายที่ชื่อ ตาบ ไปอยู่ด้วยกัน จนกระทั่งแม่นิ่มถึงแก่กรรม บุตรชายจึงมาอยู่กับสุนทรภู่ ที่วัดพระเชตุพนวิมลมังคลาราม
เมื่อสุนทรภู่ลาสิกขาครั้งแรกใน พ.ศ. ๒๓๗๘ นั้น สุนทรภู่ได้อยู่กินกับแม่ม่วง ช่วงนี้ เป็นช่วงที่สุนทรภู่มีชีวิตที่ลำบาก ต้องอาศัยอยู่ในเรือ และแต่งกลอนขายเลี้ยงชีพ แม่ม่วงจึงเป็นภรรยาคู่ทุกข์คู่ยาก แต่เมื่อสุนทรภู่บวชอีกครั้งหนึ่ง เมื่อ พ.ศ. ๒๓๘๒ ชีวิตครอบครัวกับแม่ม่วง ก็สะดุดหยุดลง ต่อมา เมื่อสุนทรภู่ลาสิกขา และเข้าถวายตัวต่อ สมเด็จเจ้าฟ้า กรมขุนอิศเรศรังสรรค์ ชีวิตครอบครัวของสุนทรภู่กับแม่ม่วง จึงกลับคืนมาอีกครั้งหนึ่ง และคงอยู่ด้วยกันตลอดมา เมื่อสุนทรภู่รับราชการอีกครั้ง ในรัชกาลที่ ๔ สุนทรภู่มีบุตรชายกับแม่ม่วงคนหนึ่งชื่อ น้อย หรือนิล
ชีวิตครอบครัวของสุนทรภู่ไม่ได้อยู่กับภรรยาคนใดคนหนึ่งโดยตลอด มีการพลัดพรากจากกันระยะหนึ่งอยู่เสมอ แต่บุตรของสุนทรภู่ทั้ง ๓ คน คือ พัด ตาบ และน้อยหรือนิล ได้อยู่ใกล้ชิดกับสุนทรภู่ นอกจากบุตรทั้ง ๓ คนนี้แล้ว สุนทรภู่ยังได้อุปการะเด็กเป็นบุตรบุญธรรมอีก ๒ คน ชื่อ กลั่น และชุบ
ช่วงบั้นปลายชีวิต
ขณะรับราชการเป็นพระสุนทรโวหารนั้น เป็นช่วงที่สุนทรภู่มีอายุมากแล้ว ไม่ได้เดินทางไปที่ใดอีก ดังนั้น จึงไม่มีผลงานประเภทนิราศ และไม่ได้แต่งนิทานคำกลอนเรื่องยาวอีกเลย งานประพันธ์ทั้งหมดในช่วงเวลานี้ บางเรื่องเป็นงานประพันธ์ที่มีเนื้อหาอยู่แล้ว เช่น เสภาพระราชพงศาวดาร ซึ่ง พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว โปรดเกล้าฯ ให้สุนทรภู่แต่งถวายเพื่อใช้ขับ ในขณะที่ทรงเครื่องใหญ่ หรือบทเห่กล่อมพระบรรทม สำหรับเห่ถวายพระเจ้าลูกเธอ ในพระราชวังหลวง และพระบวรราชวังก็นำเรื่องที่เคยแต่งไว้แล้วมาแต่งใหม่ เช่น เห่เรื่องพระอภัยมณี เห่เรื่องโคบุตร และเห่เรื่องอิเหนา ส่วนเรื่องที่จินตนาการขึ้นในช่วงนี้คือ บทละครเรื่องอภัยนุราช ซึ่งแต่งถวายพระเจ้าราชวรวงศ์เธอ พระองค์เจ้าดวงประภา พระราชธิดาในพระบาทสมเด็จพระปิ่นเกล้าเจ้าอยู่หัว
สุนทรภู่รับราชการอีกครั้งได้เพียง ๔ ปี ก็ถึงแก่กรรมใน พ.ศ. ๒๓๙๘ ขณะมีอายุ ๖๙ ปี ประวัติช่วงบั้นปลายชีวิตของสุนทรภู่นี้ มีกล่าวไว้ในหนังสือ ประวัติสุนทรภู่ และตำนานเมืองเพชรบุรี ของพระยาปริยัติธรรมธาดา (แพ ตาละลักษมณ์) ว่า
"เมื่อเข้าสู่วัยชรา สุนทรภู่ถวายบังคมลาออกจากราชการ และไปซื้อบ้านอยู่ในสวน ที่ตำบลบางระมาด ธนบุรี และถึงแก่กรรม ที่บ้านสวนนี้เมื่ออายุ ๘๐ ปีเศษ"