বলরাম ও তার সহযোগীদের চক্রান্তে খাজনা বাকি পড়লে মুর্শিদাবাদের নবাব গাজীর পর রাগ হন। বলরাম তখন দৌলত গাজীর প্রধান প্রধান কর্মচারীর সাহায্যে নিজের নামে ৭ আনি, গাছার ঘোষ বংশের নামে ৭ আনি ও পলাসনার ঘোষ বংশের নামে ২ আনি জমিদারী ক্রয় করেন এবং ওই সময় বাদশাহ হতে ‘চৌধুরী’ পদ প্রাপ্ত হন। জয়দেব রায় পলাসনার ২ আনি জমিদারী কিনে ৯ আনির অধিকারী হন এবং তিনি ই পীরবাড়ির নাম পরিবর্তন করে জয়দেবপুর রাখেন। প্রায় ৪৪-৪৫ বছরের জমিদারীর পর একমাত্র ছেলে ইন্দ্রনারায়ন কে রেখে তিনি মৃত্যু বরন করেন। ইন্দ্রনারায়ন বাড়ির পশ্চিম এ নিজের নামে একটি শিবলিঙ্গ স্থাপন করেন যা ‘শিববাড়ি’ নামে পরিচিত।

কিছুদিন পরে তিনি তিন পুত্র রেখে মারা যান। বড় ছেলে বিজয় নারায়ন নিঃসন্তান ছিলেন, মেঝ ছেলে চন্দ্রনারায়ন তার এক্মাত্র ছেলে উদয়নারায়ন এর জন্মের পরেই মারা যান। ছোট ছেলে কীর্তি নারায়ন ও উদয় নারায়ন একত্রে জমিদারী চালাতেন। তাদের পরে কীর্তি নারায়নের ছেলে লক নারায়ন জমিদারী দেখাশোনা করেন। কিছুদিন পরে লক নারায়ন সিদ্ধেশ্বরী দেবীকে বিয়ে করেন এবং গোলক নারায়ন নামে এক ছেলের পিতা হন।

লক নারায়নের মারা যাবার পরে সিদ্ধেশ্বরী দেবী চরম দুরবস্থায় পতিত হন। কিন্তু নিজের বুদ্ধির জোড়ে তিনি জমিদারী রক্ষা করতে সমর্থ হন। তার সময় আবার ভাওয়ালের ৭ আনি অংশের কিছু অংশ ঋণগ্রস্ত হয়ে পড়ে। জমিদার কালি প্রসাদের ছেলে কিশর রায় জমিদারীর কিছু অংশ প্রসিদ্ধ নীলকর জে পি ওআইজ এর কাছে বিক্রি করেন। ফলে জে পি ওআইজ এর সাথে রানী সিদ্ধেশ্বরীর বিবাদ শুরু হয় এবং তার ফলে সমস্ত জমিদারী সংরক্ষনে সফল হন।

১২৫১ সালে সিদ্ধেশ্বরী মারা যান। মায়ের মৃত্যুর পর গোলক নারায়ন কলকাতা থেকে ফিরে আসেন কিন্তু জমিদারী তে অনিহা থাকার কারনে ছেলে কালি নারায়নের উপর রাজকার্য অর্পণ করেন। গোলক নারায়ন রাজবাড়ীর পশ্চিম এ একটি দীঘি খনন করান, মাধব মন্দির ও নিজ বাড়ি পাকা করান এবং বাড়ি থেকে দক্ষিণ এ বাজার বসান। ১২৬৩ সালে তার ও মৃত্যু হয়। গোলক নারায়নের স্ত্রী লক্ষিপ্রিয়া দেবী চৌধুরানীর গর্ভে ১২১৫ সালে কালি নারায়নের জন্ম হয়েছিল।

। কালি নারায়ন রাজেন্দ্র নারায়ন নামে পুত্র সন্তানের জনক ছিলেন। রাজেন্দ্র নারায়ন রাজা উপাধিতে ভূষিত হন। তিনি বিখ্যাত সাহিত্যিক কালী প্রসন্ন ঘোষ, বিদ্যাসাগর, সিআইই কে ভাওয়ালের ম্যানেজার নিযুক্ত করেন ও স্থানীয় উন্নয়ন সাধন করেন। তার স্ত্রী বিলাসমনির গর্ভে তিন সন্তান রনেন্দ্র নারায়ন, রমেন্দ্র নারায়ন ও রবিন্দ্র নারায়নের জন্ম হয়।

রাজমাতা বিলাসমনির আন্তরিক প্রচেষ্টায় ১৩১২ সালে নিজের নামানুসারে রাজবাড়ি সংলগ্ন উচ্চ বিদ্যালয় প্রতিষ্ঠিত হয়। রাজা রমেন্দ্র নারায়ন বিলাসমনির মেজো ছেলে। তিনিই ইতিহাসের সন্যাসি রাজা নামে পরিচিত, তথাকথিত মৃত্যুর ১২ বছর পর তিনি ফিরে আসেন এবং সিংহাসন দাবী করে কোর্টে মামলা করেন। দীর্ঘস্থায়ী মামলায় তিনি জয়লাভ করেন। তবে রায় লাভের পর তিনি বেশি দিন জীবিত ছিলেন না।

কুমারেরা সকলেই নিঃসন্তান অবস্থায় মারা যান। (চলবে) ।