سرویس اختصاصی WebScraper.ir

اطلاعات محصولات فروشگاه‌های آنلاین را خودکار جمع‌آوری می‌کنیم

فروشگاه‌ها و محصولات هدف را شما مشخص می‌کنید؛ ما قیمت، تخفیف و موجودی را خودکار جمع می‌کنیم و در Excel، API، پایگاه داده یا داشبورد تحویل می‌دهیم.

مثلاً

  • ۵ فروشگاه ← ۳۰۰۰ محصول ← پایش روزانه قیمت ← Excel یا داشبورد
  • قیمت و تخفیف
  • موجودی
  • چند فروشگاه هم‌زمان
  • پایش خودکار
بررسی پروژه من مشاهده نمونه خروجی

از استخراج یک‌باره کاتالوگ تا پایش روزانه قیمت و موجودی؛ فرکانس اجرا بر اساس حجم محصولات و منبع شما تعیین می‌شود.

جمع‌آوری خودکار قیمت و موجودی از فروشگاه‌های آنلاین — WebScraper.ir
مناسب برای
قیمت‌گذاری، محصول، بازاریابی، هوش رقابتی
ورودی شما
فروشگاه‌ها، دسته، برند یا لیست SKU
خروجی
Excel، JSON، API، DB، داشبورد، وب‌هوک
فرکانس
یک‌باره تا چند بار در روز — طبق امکان‌سنجی

کاربردهای واقعی

دقیقاً چه کاری برای شما انجام می‌دهیم؟

پایش قیمت رقبا

فرض کنید فروشگاه لوازم دیجیتال دارید و چند رقیب اصلی دارید. به‌جای اینکه تیم قیمت‌گذاری هر روز صدها صفحه را باز کند، قیمت همان محصولات در فروشگاه‌های مشخص‌شده جمع می‌شود و با روز قبل مقایسه می‌شود.

فروشگاه‌های رقیب ← قیمت محصولات ← مقایسه با روز قبل ← گزارش

مثال: هدفون X — رقیب A: ۳٬۲۹۰٬۰۰۰ تومان؛ رقیب B: ۳٬۴۹۰٬۰۰۰ تومان؛ رقیب C: ناموجود.

هشدار تغییر قیمت

می‌گویید اگر قیمت یکی از محصولات مهم بیشتر از حد مشخص (مثلاً ۵٪) تغییر کرد، همان لحظه خبردار شوید — نه فردا وقتی گزارش Excel آماده شد.

قیمت جدید ← مقایسه ← عبور از حد تعیین‌شده ← وب‌هوک / تلگرام / ایمیل

موجودی محصولات رقبا

علاوه بر قیمت می‌توانید موجود، ناموجود یا موجودی محدود را هم پایش کنید. اگر کالای مهمی در چند فروشگاه رقیب تمام شود، تیم فروش زودتر از تغییر بازار باخبر می‌شود.

موجود ← ناموجود ← موجودی محدود

تخفیف‌های رقبا

قیمت قبل و بعد از تخفیف ذخیره می‌شود؛ می‌بینید کدام رقیب روی چه محصولی تخفیف داده و قیمت چه زمانی دوباره عوض شده است.

۳٬۸۹۰٬۰۰۰ ← ۳٬۲۹۰٬۰۰۰ ← ۱۵٪ تخفیف

استخراج کامل کاتالوگ

شاید پایش روزانه نخواهید — فقط یک‌بار می‌خواهید دسته‌ای از محصولات را جمع کنید برای مهاجرت کاتالوگ یا تکمیل اطلاعات داخلی.

دسته هدف ← محصولات ← عنوان + برند + قیمت + مشخصات + تصویر ← فایل خروجی

همان محصول در چند فروشگاه

یک کالا ممکن است در سایت‌ها با عنوان متفاوت دیده شود. با برند، مدل، SKU یا کدهای توافق‌شده تا حد ممکن مشخص می‌کنیم کدام رکوردها یک محصول‌اند و در یک مقایسه کنار هم قرار می‌گیرند.

Sony WH-1000XM5 ↔ هدفون بی‌سیم سونی مدل XM5

جزئیات فنی نگاشت در بخش فنی پایین صفحه توضیح داده می‌شود.

مارکت‌پلیس با چند فروشنده

وقتی برای یک کالا چند فروشنده قیمت می‌دهند، می‌توان اطلاعات هر فروشنده را در خروجی نگه داشت — نه فقط یک قیمت واحد.

یک محصول ← چند فروشنده ← چند قیمت ← موجودی هرکدام

به زبان ساده: شما می‌گویید کدام محصولات و فروشگاه‌ها برایتان مهم‌اند؛ ما قیمت، تخفیف، موجودی و تغییراتشان را خودکار جمع‌آوری و مرتب تحویل می‌دهیم.

شروع ساده

شما فقط ۴ چیز را مشخص کنید

  1. از کدام فروشگاه‌ها؟

    مثلاً:

    • فروشگاه‌های آنلاین
    • مارکت‌پلیس
    • فروشگاه برند
    • سایت B2B

  2. چه محصولاتی؟

    مثلاً:

    • یک دسته
    • یک برند
    • لیست SKU
    • چند هزار محصول

  3. هر چند وقت یک‌بار؟

    مثلاً:

    • یک‌باره
    • روزانه
    • چند بار در روز
    • هنگام تغییر مهم

  4. خروجی را چطور می‌خواهید؟

    مثلاً:

    • Excel / CSV
    • JSON
    • API
    • پایگاه داده
    • داشبورد
    • وب‌هوک

فروشگاه‌ها و محصولات هدف را شما مشخص می‌کنید؛ ما قیمت، تخفیف و موجودی را خودکار جمع می‌کنیم و در Excel، API، داشبورد یا پایگاه داده تحویل می‌دهیم.

در یک نگاه

قیمت و موجودی رقیب‌ها — بدون Excel دستی

ورودی شما

مثال: پنج مارکت‌پلیس، دسته «لوازم خانگی»، حدود ۸٬۰۰۰ SKU

لیست URL، دسته یا فیلتر محصول را می‌گویید؛ ما ساختار هر سایت را در امکان‌سنجی بررسی می‌کنیم.

کار ما

مثال: هر شب ساعت ۲۳ خزش، نرمال قیمت به تومان، حذف تکرار SKU

خط استخراج، پاک‌سازی HTML، نرمال‌سازی شناسه و قیمت، کنترل کیفیت و اجرای زمان‌بندی‌شده.

خروجی شما

مثال: CSV در SharePoint + وب‌هوک وقتی قیمت بیش از ۵٪ عوض شد

JSON، CSV، API یا پایگاه داده با ستون‌های توافقی — آماده داشبورد یا ERP شما.

معرفی

این سرویس برای چه کسی است؟

تیم‌هایی که باید قیمت، تخفیف و موجودی را از چند فروشگاه آنلاین ببینند — برای قیمت‌گذاری، تکمیل کاتالوگ، تحلیل بازار یا پایش رقبا. وقتی این کار دستی انجام شود، هم دیر به‌روز می‌شود هم خطای انسانی زیاد است.

شما منابع و محدوده را مشخص می‌کنید؛ ما خط جمع‌آوری را طراحی و اجرا می‌کنیم و خروجی را طوری تحویل می‌دهیم که مستقیم در Excel، BI، ERP یا داشبورد شما قابل استفاده باشد.

این سرویس جایگزین قرارداد رسمی با مارکت‌پلیس یا انتقال مالکیت محتوای فروشگاه نیست؛ محدوده حقوقی و فنی هر منبع قبل از توسعه بررسی می‌شود.

شما می‌گویید کدام فروشگاه‌ها و محصولات مهم‌اند؛ ما قیمت، تخفیف، موجودی و تغییرات را خودکار جمع و مرتب تحویل می‌دهیم.

قبل و بعد از خط جمع‌آوری خودکار

قبل — بررسی دستی

  • هر روز باز کردن صفحات رقیب و کپی قیمت در فایل‌های جدا
  • واحد پول و عنوان بین سایت‌ها یکسان نیست — مقایسه گمراه‌کننده است
  • تخفیف آخر هفته عوض می‌شود و تیم دیر باخبر می‌شود

بعد — داده یکپارچه و به‌روز

  • اجرای زمان‌بندی‌شده روی فروشگاه‌ها و محصولات هدف شما
  • قیمت و شناسه در یک ساختار واحد — آماده مقایسه و گزارش
  • هشدار وقتی قیمت یا موجودی از حد تعیین‌شده عبور کند

لایه‌ها

پشت صحنه، داده را برای شما قابل استفاده می‌کنیم

۱

محصولات تکراری

تا حد ممکن رکوردهای تکراری را یکی می‌کنیم — با SKU، لینک پایدار محصول یا قواعد نگاشت توافق‌شده با شما.

۲

قیمت تومان و ریال

نمایش ریال یا تومان در سایت‌های مختلف را به یک واحد در خروجی شما تبدیل می‌کنیم تا مقایسه معنادار باشد.

۳

رنگ، سایز و تنوع

اگر یک محصول چند variant دارد، هر کدام را جدا نگه می‌داریم — تا قیمت و موجودی در سطح درست مقایسه شود.

۴

تغییر ظاهر سایت فروشگاه

اگر چیدمان صفحه عوض شود، ممکن است خط استخراج نیاز به به‌روزرسانی داشته باشد؛ در قرارداد پشتیبانی این موضوع شفاف می‌شود. جزئیات فنی (انتخابگرها، Playwright در صورت نیاز، صف و orchestration) در بخش فنی پایین صفحه است.

کاربرد

کاربردهای دیگر همین سرویس

هوش رقابتی و قیمت‌گذاری

خروجی منظم برای تیم قیمت — مقایسه رقبا، شناسایی تخفیف‌های ناگهانی و ورودی داشبورد داخلی.

تکمیل و مهاجرت کاتالوگ

استخراج یک‌باره یا دوره‌ای ویژگی‌ها، تصاویر و دسته‌بندی از منابع مجاز برای پر کردن یا به‌روزرسانی کاتالوگ خودتان.

اتصال به ERP و اتوماسیون

API یا پایگاه داده که سامانه‌های شما مصرف می‌کنند — مثلاً گزارش شبانه تغییرات یا همگام‌سازی با انبار.

فرایند

فرایند پروژه از محدوده تا تحویل

  1. تعریف محدوده

    فروشگاه‌ها، دسته، برند، لیست SKU و فیلدهای اجباری

  2. کشف محصول

    لیست دسته، صفحه‌بندی یا مسیر مجاز برای رسیدن به URL محصولات

  3. جمع‌آوری صفحه

    خواندن قیمت، عنوان، موجودی و سایر فیلدهای توافق‌شده

  4. کنترل کیفیت

    حذف صفحه خطا، قیمت نامعتبر یا رکورد ناقص

  5. یکدست‌سازی

    واحد پول، عنوان، دسته و تنوع محصول

  6. تطبیق و حذف تکرار

    قواعد SKU، لینک یا جدول نگاشت شما

  7. پایش تغییر

    مقایسه با اجرای قبلی برای قیمت و موجودی

  8. تحویل

    فایل، API، پایگاه داده، داشبورد یا وب‌هوک

داده‌ها

چه فیلدهایی معمولاً در خروجی می‌آید؟

هر فروشگاه همه فیلدها را نشان نمی‌دهد؛ لیست نهایی در امکان‌سنجی و قرارداد ثبت می‌شود. جدول زیر برای هم‌زبانی با تیم فنی است — نمونه JSON در بخش خروجی را هم ببینید.

نام / عنوان محصول عنوان نمایشی صفحه
SKU / شناسه فروشنده یا کد داخلی مارکت‌پلیس
URL محصول لینک پایدار در صورت امکان
قیمت پایه و قیمت نهایی با تخفیف در صورت نمایش
درصد یا مبلغ تخفیف اگر در UI باشد
واحد پول نرمال به تومان در خروجی داخلی شما
موجودی / وضعیت انبار موجود، ناموجود یا متن وضعیت
برند و دسته مسیر دسته یا breadcrumb
ویژگی‌ها (spec) جدول مشخصات یا key-value
تنوع (رنگ، سایز) جدا برای هر variant در صورت نیاز
تصاویر URL یا لیست گالری
فروشنده در مارکت‌پلیس چندفروشنده
امتیاز و تعداد نظر فقط اگر عمومی باشد
زمان ثبت (captured_at) برای پایش و تاریخچه
نمونه ساختار خروجی

نمونه نمایشی از ساختار خروجی — داده جعلی و فقط برای توضیح ساختار داده است.

{
  "source": "marketplace-example",
  "url": "https://example.com/product/abc-123",
  "sku": "ABC-123",
  "title": "هدفون بی‌سیم مدل X",
  "brand": "برند نمونه",
  "category_path": ["الکترونیک", "صوتی", "هدفون"],
  "price": 3290000,
  "price_before_discount": 3890000,
  "discount_percent": 15,
  "currency": "IRT",
  "in_stock": true,
  "stock_hint": "موجود در انبار",
  "seller": "فروشنده نمونه",
  "rating": 4.6,
  "review_count": 128,
  "variants": [
    {"color": "مشکی", "sku": "ABC-123-BK", "price": 3290000}
  ],
  "attributes": {
    "وزن": "۲۵۰ گرم",
    "گارانتی": "۱۸ ماه"
  },
  "images": [
    "https://example.com/media/1.jpg"
  ],
  "captured_at": "1405-06-26T14:30:00+03:30"
}

فنی

جزئیات فنی — برای تیم مهندسی و یکپارچه‌سازی

Python

منطق استخراج، نرمال‌سازی قیمت و orchestration خط

Scrapy

خزش مقیاس بالا وقتی ساختار لیست/صفحه ثابت است

Playwright

صفحات JS-heavy، lazy-load گالری یا قیمت پس از انتخاب variant

Redis

صف URL، محدودسازی نرخ درخواست هماهنگ و کش پاسخ

PostgreSQL

ذخیره کاتالوگ، تاریخچه قیمت و query گزارش

Django / REST

لایه API تحویل در صورت نیاز محصول یکپارچه با سایت

تکراری‌ها و چندمنبعی (جزئیات فنی)

در مارکت‌پلیس و چند فروشگاه، یک محصول ممکن است چند بار دیده شود؛ روش نهایی در طراحی ساختار داده شماست.

  • کلید یکتا: SKU منبع + شناسه فروشنده
  • URL canonical محصول
  • هش عنوان نرمال‌شده + برند (با احتیاط)
  • جدول نگاشت دستی GTIN / کد داخلی شما
  • ادغام رکوردهای variant تحت parent SKU
  • حذف رکوردهای کهنه پس از چند اجرای ناموفق

نرمال‌سازی برای مقایسه معنادار (جزئیات فنی)

  • قیمت: تبدیل نمایش ریال/تومان به واحد واحد در خروجی
  • تخفیف: استخراج قیمت قبل و بعد یا درصد — یکسان در همه منابع
  • عنوان: یکنواخت‌سازی فاصله، نیم‌فاصله و حروف عربی/فارسی در صورت نیاز
  • دسته: نگاشت مسیر دسته منبع به طبقه‌بندی داخلی
  • موجودی: تبدیل پیام‌های مختلف به فیلد boolean یا enum
  • تصاویر: انتخاب تصویر اصلی و حذف تصویر بندانگشتی تکراری
  • زمان: برچسب زمان ثبت با منطقه زمانی توافقی برای پایش

پایش تغییر قیمت و موجودی

در پروژه‌های پایشی، هر اجرا با اجرای قبلی مقایسه می‌شود؛ رفتار دقیق (تاریخچه کامل یا فقط آخرین تفاوت) در محدوده تعریف می‌شود.

  • ثبت قیمت و موجودی در هر capture
  • رویداد «قیمت تغییر کرد» برای Webhook
  • فیلتر SKUهای حساس برای کاهش نویز
  • نگهداری تاریخچه برای تحلیل روند (در صورت نیاز حجم ذخیره)
  • علامت‌گذاری محصول حذف‌شده یا 404 از فید

فروشگاه‌های آنلاین چه محدودیت‌هایی دارند؟

  • محدودیت نرخ درخواست و مسدودسازی IP
  • CAPTCHA و سیستم ضدربات
  • تغییر چیدمان، class و API داخلی بدون اطلاع
  • قیمت یا موجودی فقط پس از ورود یا انتخاب شهر
  • اسکرول بی‌پایان و صفحه‌بندی غیراستاندارد
  • دسترسی فقط با ورود یا کاتالوگ پشت نشست
  • داده ناقص در لیست دسته (نیاز به ورود به صفحه جزئیات)

محدودسازی نرخ، cache و انتخاب لایه (HTTP/Playwright/API) در قرارداد و گزارش امکان‌سنجی مشخص می‌شود.

یک‌باره یا پایش دوره‌ای؟

مهاجرت کاتالوگ معمولاً یک‌باره با batch است؛ پایش قیمت اغلب ساعتی تا روزانه بسته به نرخ تغییر بازار و محدودیت منبع.

فرکانس اجرا با محدودیت درخواست منبع، حجم SKU و بودجه پردازش در امکان‌سنجی تنظیم می‌شود تا SLA و پایداری خط حفظ شود.

یک‌بارهاستخراج اولیه یا تکمیل کاتالوگ
روزانه / چندبار در روزپایش قیمت و موجودی
زمان‌بندی سفارشیcron مطابق SLA شما
رویدادمحورWebhook پس از تشخیص تغییر مهم

مالکیت محتوا و محدوده پروژه

سرویس استخراج داده به معنای انتقال حق نشر یا مجوز بازنشر محتوا نیست.

استفاده از داده باید مطابق قرارداد پروژه و قوانین مرتبط با سازمان شما باشد.

برخی منابع محدودیت فنی دارند (ورود، پرداخت‌دیواری، محدودیت شدید درخواست) که روی معماری و زمان تحویل اثر می‌گذارد؛ در امکان‌سنجی بررسی می‌شود.

WebScraper.ir محدوده فنی، فیلدها و روش استخراج هر منبع را قبل از توسعه کامل شفاف می‌کند.

پرسش‌های متداول

پرسش‌های متداول

بسته به منبع: عنوان، SKU، قیمت، تخفیف، موجودی، برند، دسته، ویژگی‌ها، تصاویر، فروشنده و امتیاز در صورت نمایش عمومی — لیست نهایی در محدوده پروژه ثبت می‌شود.

سرویس‌ها و مطالب مرتبط

گام بعد

پایش قیمت یا استخراج کاتالوگ در اولویت شماست؟

چند لینک نمونه از فروشگاه‌های هدف، حجم تقریبی SKU و فرمت خروجی مطلوب را بفرستید؛ امکان‌سنجی منبع، ساختار داده پیشنهادی و گزینه پایش دوره‌ای را شفاف توضیح می‌دهیم.

درخواست امکان‌سنجی تماس با تیم