سرویس اختصاصی WebScraper.ir
استخراج اطلاعات املاک و آگهی‌ها
فایل‌های ملکی موردنظرتان راخودکار جمع‌آوری می‌کنیم
دیگر لازم نیست هر روز چند سایت املاک را باز کنید و آگهی‌ها را یکی‌یکی داخل Excel یا CRM ثبت کنید.
ما آگهی‌های موردنظر شما را بر اساس شهر، محله، قیمت، متراژ و نوع ملک جمع‌آوری می‌کنیم و اطلاعات مرتب و آماده استفاده را در Excel، CRM، سایت، داشبورد یا API شما تحویل می‌دهیم.
- آگهی‌های فروش آپارتمان در منطقه ۳ تهران ← جمع‌آوری خودکار ← حذف تکراری ← Excel یا CRM شما
- آگهی‌های تازه
- فیلتر شهر و محله
- قیمت و متراژ
- خروجی Excel / CRM / API
یعنی دقیقاً چه کاری برای شما انجام می‌دهیم؟
مثال ۱ — مشاور املاک
فرض کنید فقط دنبال این فایل‌ها هستید: تهران ← سعادت‌آباد ← آپارتمان فروش ← ۸۰ تا ۱۴۰ متر ← زیر ۲۰ میلیارد.
سایت‌های املاک ← پیدا کردن آگهی‌های مناسب ← مرتب‌سازی ← فایل آماده برای مشاور
اطلاعاتی مثل قیمت، متراژ، تعداد اتاق، محله، تصاویر، امکانات و لینک آگهی در اختیار شما قرار می‌گیرد.
مثال ۲ — تحلیل قیمت یک محله
می‌خواهید بدانید قیمت آپارتمان در یک منطقه تقریباً در چه محدوده‌ای است؟
تمام آگهی‌های فروش منطقه ۵ ← استخراج قیمت و متراژ ← محاسبه قیمت هر متر ← داشبورد تحلیل
میانگین قیمت هر متر، محله‌های گران‌تر، فایل‌های خارج از محدوده معمول قیمت و تغییر نسبت به هفته قبل.
مثال ۳ — دریافت آگهی‌های تازه
مشتری شما دنبال ویلای زیر ۱۵ میلیارد در یک منطقه خاص است؛ سیستم منابع تعیین‌شده را مرتباً بررسی می‌کند.
آگهی جدید منتشر شد ← شرایط بررسی شد ← مناسب بود ← وارد CRM یا لیست شما شد
در صورت نیاز می‌توان روی آن اعلان یا جریان کاری دیگری هم تعریف کرد.
مثال ۴ — آژانس املاک
اگر چند مشاور دارید، دیگر لازم نیست هرکدام فایل‌هایشان را جداگانه در Excel نگه دارند.
منابع املاک ← بانک فایل مرکزی ← دسته‌بندی محله ← تخصیص به مشاور
تیم شما به یک بانک فایل مرتب و قابل جست‌وجو دسترسی دارد.
مثال ۵ — سرمایه‌گذار
می‌خواهید بازار ملک در چند منطقه را زیر نظر داشته باشید:
منطقه ۱ + منطقه ۳ + منطقه ۵ ← استخراج روزانه ← تاریخچه قیمت ← مقایسه
کدام مناطق آگهی بیشتری دارند، قیمت‌ها کجا در حال تغییر است و چه فایل‌هایی نسبت به بازار قیمت متفاوتی دارند.
مثال ۶ — سایت یا اپلیکیشن املاک
اگر محصول یا سایت املاک دارید، می‌توانیم داده را مستقیماً برای سیستم شما آماده کنیم:
منبع ← استخراج ← پاک‌سازی ← JSON / API ← سایت شما
تیم توسعه شما به‌جای ساختن کل زیرساخت استخراج، داده ساختاریافته دریافت می‌کند.
مثال ۷ — خروجی ساده Excel
گاهی مشتری اصلاً CRM یا API نمی‌خواهد — مثلاً هر روز فایل‌های فروش آپارتمان کرج.
Excel روزانه
- نام آگهی
- قیمت
- متراژ
- قیمت هر متر
- محله
- تعداد اتاق
- امکانات
- تاریخ انتشار
- لینک آگهی
به زبان ساده: شما می‌گویید چه فایل‌هایی می‌خواهید؛ سیستم آن‌ها را پیدا می‌کند، مرتب می‌کند و در قالب موردنظر شما تحویل می‌دهد.
شما فقط بگویید دنبال چه ملکی هستید
-
محدوده را مشخص کنید
مثلاً:
- تهران
- منطقه ۳
- کرج
- مشهد
- یک یا چند محله
-
شرایط ملک را مشخص کنید
مثلاً:
- فروش یا اجاره
- آپارتمان یا ویلا
- ۷۰ تا ۱۲۰ متر
- بازه قیمت
- تعداد اتاق
-
بگویید خروجی را کجا می‌خواهید
- Excel
- CRM
- سایت
- داشبورد
- API
- پایگاه داده
معرفی
این سرویس برای چه کاری است؟
روزتان با چند سایت و چند تب شروع میشود: قیمت هر متر، نوع معامله، محله — و وسط کار آگهی عوض یا جمع میشود. وقتی همه‌چیز در اکسل و اسکرین‌شات پخش است، تصمیم برای قیمت‌گذاری یا پیشنهاد به مشتری دیر می‌رسد.
هر پورتال هم زبان خودش را دارد: یکجا «رهن کامل»، جای دیگر فقط نقشه، محله با نام محلی یا اصطلاحی که با فیلتر بعدی جور درنمی‌آید. تا فروش، رهن و اجاره و متراژ یکدست نشود، عددی که به مشتری می‌دهید بیشتر حدس است تا تحلیل.
این سرویس برای همان درد ساخته شده: آگهی‌های مجاز را منظم جمع می‌کند، قیمت و متراژ را یکدست می‌کند، محله را قابل مقایسه می‌کند و خروجی را به CRM یا داشبورد شما می‌رساند. اگر منبع اصلی‌تان دیوار است، در پایین صفحه محصول آماده «فایلینگ دیوار» را هم معرفی کرده‌ایم.
قبل و بعد از فید املاک یکپارچه
قبل — دستی
- کپی دستی آگهی از چند پورتال در فایل‌های جدا
- قیمت متر و نوع معامله بین سایت‌ها قابل یکپارچه‌سازی نیست
- آگهی منقضی هنوز در گزارش دیده میشود
بعد — خودکار
- اجرای روزانه روی شهر و محله‌های هدف
- ساختار داده واحد با نوع معامله، متراژ و محله نرمال
- علامت‌گذاری حذف و مقایسه تغییر قیمت در پایش
سناریو
فرض کنید تیم تحلیل هر صبح باید قیمت متر سه محله را در یک داشبورد ببیند
بدون خط استخراج، جمع‌آوری از پورتال‌ها ساعت‌ها طول می‌کند و وقتی آگهی ویرایش میشود، نسخه قبلی در جدول آنلاین می‌ماند.
وضعیت فعلی
- جمع‌آوری: باز کردن چند پورتال و ثبت دستی قیمت و متراژ
- یکپارچگی: رهن/اجاره با فروش در یک ستون قاطی میشود
- سرعت: آگهی تازه با تأخیر به CRM می‌رسد
با خط استخراج
- جمع‌آوری: فید زمان‌بندی‌شده با فیلتر شهر و نوع ملک
- یکپارچگی: خروجی واحد با شناسه یکتا و قیمت هر متر
- سرعت: اعلان خودکار یا همگام‌سازی برای آگهی‌های تازه محله هدف
تحلیل منطقه
نمای منطقه‌ای قیمت هر متر (نمونه)
پس از نرمالسازی محله و نوع معامله، می‌توانید میانگین و توزیع را در داشبورد یا رابط برنامهنویسی خود ببینید — اعداد زیر فقط برای نمایش رابط کاربری هستند.
نوع معامله در ساختار داده
- فروش قیمت کل، قیمت هر متر، متراژ
- رهن مبلغ رهن و شرایط نمایش
- اجاره اجاره ماهانه و رهن در صورت نمایش
- تجاری نوع ملک و کاربری در صورت وجود
کاربرد
این سرویس در چه سناریوهایی استفاده میشود؟
از تحلیل بازار تا مدیریت مشتری و داشبورد — هر کارت یک مسیر عملیاتی رایج است.
تحلیل بازار مسکن
میانگین و توزیع قیمت هر متر در محله‌ها و نوع ملک (آپارتمان، ویلا، تجاری) روی داده به‌روز — بدون نمونه‌گیری دستی هفتگی.
داشبورد املاک داخلی
فیلتر شهر، محله، نوع معامله و متراژ برای تیم مدیریت یا سرمایه‌گذار — مشابه لایه تحلیل در فایلینگ دیوار؛ سرویس داشبورد سفارشی در صورت نیاز به رابط کاملاً منحصربه‌فرد.
سرنخ برای مشاور
لیست آگهی تازه منتشرشده در محدوده جغرافیایی هدف با لینک و اطلاعات جانبی — تمرکز روی داده عمومی صفحه، نه تماس هرزنامه.
پایش رقبای آژانس
ثبت آگهی‌های منتشرشده توسط آژانس‌های رقیب در پورتال‌های عمومی برای تحلیل حضور و قیمت‌گذاری.
مهاجرت آرشیو
یک‌باره گرفتن بازه تاریخی از آرشیو عمومی (در صورت دسترسی) برای مدل‌سازی یا گزارش تاریخی.
لایه نقشه و موقعیت
اگر مختصات یا محدوده روی نقشه‌های عمومی در محدوده پروژه باشد، خروجی برای نقشه حرارتی قیمت یا فیلتر جغرافیایی آماده میشود.
فرایند
از محدوده پروژه تا تحویل
هر مرحله برای آگهی، محله و نوع معامله تعریف میشود؛ جزئیات در امکان‌سنجی ثبت میشود.
شهر، محله یا لیست نشانی دسته
لیست روزانه، صفحه‌بندی یا رابط برنامهنویسی مجاز
خواندن قیمت، متراژ و نوع معامله از صفحه
قیمت مثبت، متراژ منطقی، حذف آگهی آزمایشی
محله، نوع معامله، واحد پول
نشانی، شناسه خارجی یا درهم‌ساز عنوان+محله
علامت‌گذاری آگهی حذفشده در پایش
CRM، رابط برنامهنویسی یا فایل
آگهی تکراری بین پورتال‌ها
یک ملک گاهی در چند سایت با عنوان متفاوت دیده میشود؛ روش ادغام در پروژه تعریف میشود.
- ۱شناسه یکتا پورتال مبدأ
- ۲نشانی آگهی
- ۳شباهت عنوان + متراژ + محله (با آستانه)
- ۴نگاشت دستی برای آژانس‌های کلیدی
یکسان‌سازی برای تحلیل منطقه‌ای
- ۱تفکیک فروش از رهن و اجاره با مقادیر ثابت واحد
- ۲محاسبه قیمت متر اگر فقط قیمت کل آمده
- ۳یکنواخت‌سازی نام محله و منطقه
- ۴تبدیل تاریخ انتشار به منطقه زمانی توافقی
- ۵دسته ملک و امکانات به لیست استاندارد
تغییر قیمت و حذف آگهی
در پایش دوره‌ای، مقایسه تغییر قیمت و وضعیت «منقضی» برای تحلیل روند مفید است.
- ثبت قیمت در هر بار جمع‌آوری
- تشخیص کاهش قیمت یا ویرایش متن
- حذف نرم از فید وقتی صفحه حذف شده یا پیام منقضی
داده‌ها
فیلدهای قابل استخراج
فیلدهای اختیاری مثل شماره تماس فقط وقتی در منبع عمومی و مجاز است — در امکان‌سنجی روشن میشود.
قیمت کل / رهن و اجاره
با نوع معامله
قیمت هر متر
محاسبه یا استخراج
متراژ
زیربنا یا مفید — یکسان‌سازی در خروجی
شهر و محله
نگاشت به طبقه‌بندی شما
نوع معامله
فروش، رهن، اجاره
نوع ملک
آپارتمان، ویلا، زمین، …
طبقه و سن بنا
در صورت درج
امکانات
پارکینگ، آسانسور، …
تصاویر
نشانی گالری
تاریخ انتشار
نرمال‌شده
لینک آگهی و شناسه
برای حذف تکراری و ممیزی
مختصات
اگر روی نقشه عمومی باشد
نمونه نمایشی — داده جعلی.
{
"source": "portal-example",
"url": "https://example.com/ad/98765",
"external_id": "98765",
"deal_type": "sale",
"property_type": "apartment",
"title": "آپارتمان ۹۵ متری نوساز",
"city": "تهران",
"district": "منطقه نمونه",
"neighborhood": "محله نمونه",
"area_m2": 95,
"rooms": 2,
"price_total": 8500000000,
"price_per_m2": 89473684,
"currency": "IRT",
"floor": 3,
"total_floors": 5,
"year_built": 1402,
"amenities": ["پارکینگ", "انباری", "آسانسور"],
"images": ["https://example.com/img/1.jpg"],
"published_at": "1405-06-25T09:15:00+03:30",
"captured_at": "1405-06-26T11:00:00+03:30"
}فنی
معماری و محدودیت‌ها
فناوری‌ها بسته به پورتال، نقشه و مقیاس شهر انتخاب میشوند انتخاب میشوند.
Python
پردازش و نرمالسازی آگهی
Playwright
پورتال‌های اسکریپتی و نقشه
PostgreSQL
ذخیره آگهی و تاریخچه قیمت
PostGIS
تحلیل موقعیت اگر عرض/طول جغرافیایی در محدوده باشد
Redis
صف نشانی و محدودیت نرخ درخواست
محدودیت‌های پورتال املاک
- ضدربات و محدودیت نشانی اینترنتی
- تغییر ساختار لیست و جزئیات
- داده تماس پشت کلیک یا اپ
- سیاست خزش و نرخ درخواست منبع
- آگهی‌های تکراری یا هرزنامه
- نقشه و مختصات گاهی تقریبی
استخراج و ساختاردهی فیلدهای آگهی بر اساس ساختار صفحه عمومی و خروجی موردنیاز پروژه.
چند وقت یک‌بار به‌روز شود؟
بازار املاک محلی ممکن است روزانه آگهی تازه زیاد داشته باشد؛ فرکانس با محدودیت منبع و هدف شما تنظیم میشود.
روش‌های تحویل
مالکیت محتوا و محدوده پروژه
سرویس استخراج داده به معنای انتقال حق نشر یا مجوز بازنشر محتوا نیست.
استفاده از داده باید مطابق قرارداد پروژه و قوانین مرتبط با سازمان شما باشد.
برخی منابع محدودیت فنی دارند (ورود، پرداخت‌دیواری، محدودیت شدید درخواست) که روی معماری و زمان تحویل اثر می‌گذارد؛ در امکان‌سنجی بررسی میشود.
WebScraper.ir محدوده فنی، فیلدها و روش استخراج هر منبع را قبل از توسعه کامل شفاف می‌کند.
مسیر پروژه
از بررسی تا نگهداری
-
۰۱ بررسی نیاز
خروجی: سند محدوده اولیه
-
۰۲ ارزیابی منابع
خروجی: گزارش ریسک و روش استخراج
-
۰۳ طراحی داده
خروجی: نمونه JSON/جدول توافقی
-
۰۴ توسعه نمونه
خروجی: خروجی نمونه قابل تأیید
-
۰۵ اعتبارسنجی
خروجی: چک‌لیست پذیرش
-
۰۶ توسعه کامل
خروجی: خط تولید پایدار
-
۰۷ تحویل
خروجی: دسترسی عملیاتی
-
۰۸ نگهداری
خروجی: گزارش SLA قراردادی
پرسش‌های متداول
پاسخ‌های کوتاه قبل از شروع پروژه
هر کارت یک پرسش رایج است؛ با کلیک، توضیح کامل باز میشود.
بله — فایلینگ دیوار (پروژه DIVAR-SCRAPER) استخراج دیوار، بانک فایل، CRM رایگان و تحلیل را در divarfiling.ir یکجا دارد؛ هر شهری که در دیوار صفحه و آگهی فعال دارد در محدوده ربات است. در WebScraper.ir هم معرفی محصول و سرویس سفارشی برای پورتال‌های دیگر وجود دارد.
فایلینگ دیوار محصول آماده برای دیوار و میزکار مشاور است (ربات + اپ + لایسنس). این سرویس طراحی خط استخراج برای منابع دیگر، چند پورتال و تحویل به سیستم شما در قرارداد پروژه است.
فقط اگر در صفحه عمومی منتشر شده و استفاده آن مجاز باشد — در غیر این صورت خیر.
اگر در منبع نباشد، از قیمت کل و متراژ با قواعد اعتبارسنجی شما.
نوع معامله در نرمالسازی در دستههای جدا ثبت میشود.
صفحه حذفشده، پیام حذف یا عدم حضور در لیست در اجرای بعدی — رفتار در محدوده پروژه.
بله — واسط REST با فیلتر محله و نوع معامله رایج است.
بله — هر شهر/منبع الگوی جداگانه.
معمولاً نشانی تصویر؛ ذخیره فایل طبق مجوز بازنشر.
متن و تصویر آگهی متعلق به ناشر است؛ استفاده باید با شرایط پلتفرم همخوان باشد.
نگهداری انتخابگر صفحه در قرارداد پشتیبانی.
گام بعد
تحلیل بازار یا CRM املاک در دستور کار شماست؟
اگر به محصول آماده نیاز دارید، میزکار فایلینگ دیوار را امتحان کنید؛ اگر پورتال یا ساختار داده خاص دارید، شهرها و منابع هدف را بفرستید تا امکان‌سنجی سرویس سفارشی انجام شود.