Việc buôn bán của gia đình lại được kế tục bởi người con dâu, mẹ của ông Quỳnh. Ông nhớ về quá khứ giàu sang: “Mẹ tôi cũng đi buôn gạo giống bà nội. Ngày nhỏ, tôi nhớ có những năm thóc cao gạo kém nhưng nhà tôi lúc nào gạo cũng chất cao đến tận nóc nhà. Mẹ tôi còn buôn ngô và có mấy cái máy dệt, thuê người về đứng máy.” Bố của ông có những lúc còn giàu đến mức đủ tiền để mở mỏ khai thác than ở Quảng Ninh. Thời ấy những nhà có điều kiện như thế ở Hà Nội chỉ đếm được trên đầu ngón tay.

Những sóng gió của thời cuộc khiến cho việc buôn bán của gia đình ông sa sút đi nhiều. Đến những năm 1960, những căn nhà rộng hàng trăm mét vuông mặt phố cũng không còn nữa, gia đình ông Quỳnh có 7 người chỉ còn được ở trong 28m2 ở căn nhà cũ.

Hàng chục năm trôi qua, vẫn ở lại căn nhà chật chội, vị công tử Hà Thành ngày xưa nay dường như đã thuộc từng vết nứt trên tường. Bố mẹ đều lần lượt qua đời, giờ đây ông ở với gia đình người em trai áp út và người em trai út. Vẫn gần 10 người ở trong căn hộ chật hẹp, gia cảnh ông đều khó khăn. Người em trai áp út bị bệnh tiểu đường đã biến chứng, không thể tự lo các sinh hoạt cá nhân, hàng ngày ông Quỳnh phải phụ giúp việc chăm sóc. Người em út sinh ra khi gia đình đã khó khăn, học hành không tới nơi tới chốn nên công việc không ổn định.