قدمت خانه لطفی به دوره قاجاریه می رسد. این بنا از قسمت های مختلفی مانند حیاط بیرونی، اندرونی، حیاط پشت حیاط اندرونی، خانه مستخدمین و اصطبل ساخته شده است که هرکدام بخش هایی دارد. ورودی اصلی بنا از طرف بالا محله است. این ورودی با آجر تزیین شده و در طرفین آن دو طاق نما که بالای آن دو طاقچه مربع شکل وجود دارد به چشم می خورد. در پشت درب ورودی هشتی واقع شده که دارای طاق نماهایی با طاق گهواره ای است. راهرویی از داخل یکی از این طاق نماها به طرف حیاط امتداد دارد که دو پله دارد. بعد از ورود به حیاط با اطاق دیگری در جانب آن مواجه می شویم.

از این اطاق دربی به خانه صدیق باز می شده که در حال حاضر مسدود است. سمت چپ راهروی ورودی اطاقی قرار دارد که دارای پنجره ای رو به حیاط است. روبروی ورودی، ساختمان دو طبقه ای ساخته شده که طبقه اول آن زیرزمین است. طبقه دوم که با 5 پله از طبقه اول جدا می شود ایوانی با چهار ستون گچی و سرستون های گچبری شده زیبایی دارد. در انتهای ایوان سه اطاق قرار دارد؛ اطاق وسط، که پنج دری خوانده می شود، ازدیگر اطاق ها وسیع تر است. یکی از اطاق ها نیز به عنوان آشپزخانه استفاده می شده است.

در ضلع غربی ایوان نیز اطاق هایی قرار دارد که به وسیله سه پله از حیاط جدا می شود. در کنار حیاط اندرونی اصلی اصطبلی قرار دارد که دارای سقف های گنبدی به صورت 6 گنبد کوچک است. برای رفتن به حیاط اندرونی از حیاط های دیگر ابتدا به محل مستخدمین واقع در زیرزمین رفته و سپس از طریق هشتی واقع در اندرونی به حیاط اندرونی راه می یابیم. این حیاط خود شامل درب ورودی جداگانه ، هشتی و راهروی ورودی است که به وسیله دو پله به حیاط راه می یابد. این راهرو نیز در قسمت اصلی، که با سه پله به آن می رسیم، ایوانی با دو ستون گچی و سرستونهای گچبری دارد. خانه های حیاط اندرونی نیز به صورت دو طبقه ساخته شده است.

در پشت دیوار قسمت ورودی، حیاط اندرونی دیگری قرار دارد که شامل حیاط ،آب انبار و یک اطاق است که به وسیله سه پله از حیاط به آن راه پیدا می کنیم. در کنار این حیاط اندرونی محلی جهت اسکان مستخدمین وجود دارد که خود شامل اطاق و حیاط است و همانطور که قبلاً گفته شد به وسیله راهروی زیرزمینی از این قسمت به حیاط بیرونی راه می یابیم.  حیاط های اندرونی به وسیله دربی که در هشتی حیاط اندرونی قرار دارد با یکدیگر مرتبط می شوند.