১৯৪৭ সাল অর্থাৎ দেশ বিভাগের আগেই নিলয়ের নানার পরিবার পাবনায় এসে বসত গড়েন। পাথরতলায় প্রমোধ মিত্রের তিনবিঘার উপর বাগানবাড়িটা সেসময়েই কেনা হয়েছিল। বাগানবাড়ির বাগান এখন আর নেই। শুধু পুরো সীমানাজুরে নারকেল গাছের সারি যেন বাড়িটাকে পাহারা দিচ্ছে। তবে উত্তর পশ্চিমকোনে মোগলস্থাপত্যের অনুকরনে বিংশ শতাব্দির প্রারম্ভে তৈরী হওয়া দ্বিতল বাড়িটা এখনও সমহিমায় মাথা তুলে এর পূর্ব আভিজাত্য সম্পর্কে জানান দিয়ে যাচ্ছে। মাটি থেকে তিনফুট উঁচুতে বাড়ির ভিত্তি।