سرویس استخراج و انتشار خودکار اخبار

اخبار سایت‌ها را خودکار جمع می‌کنیم،مرتب می‌کنیم و به مقصد شما می‌فرستیم

مثلاً اخبار ورزشی، اقتصادی، ارز دیجیتال یا حوزه کاری شما را از سایت‌های موردنظر جمع‌آوری می‌کنیم، خبرهای تکراری را حذف می‌کنیم و خروجی را خودکار به سایت، کانال <a href="https://telegram.org" target="_blank" rel="noopener">تلگرام</a>، اپلیکیشن، داشبورد یا API شما می‌فرستیم.

  • چند سایت هم‌زمان
  • حذف اخبار تکراری
  • به‌روزرسانی خودکار
  • ارسال به مقصد دلخواه
درخواست بررسی پروژه مشاهده نمونه خروجی
استخراج و پایش خبر از وب‌سایت‌های خبری — WebScraper.ir

یعنی دقیقاً چه کاری می‌توانیم برای شما انجام دهیم؟

کانال خبری ورزشی

سایت‌های خبری ← استخراج خبر ← حذف تکراری ← کانال تلگرام شما

اخبار جدید ورزشی را از سایت‌هایی مثل ورزش‌سه و رسانه‌های موردنظر شما دریافت می‌کنیم. مثلاً هر خبر جدید فوتبال منتشر شد، عنوان، تصویر، خلاصه و لینک منبع به کانال یا سیستم شما منتقل شود.

سایت یا کانال اخبار کریپتو

چند رسانه کریپتو ← فیلتر موضوع ← سایت / تلگرام / اپلیکیشن شما

مثلاً فقط خبرهایی که درباره بیت‌کوین، اتریوم یا ETF منتشر شده‌اند وارد سایت شما شوند.

پایش اخبار رقبا و برند

رسانه‌ها ← جست‌وجوی نام برند ← تشخیص خبر جدید ← ارسال هشدار

مثلاً اگر نام شرکت شما در یک رسانه منتشر شد، همان لحظه لینک و متن خبر برای تیم روابط عمومی ارسال شود.

خبرخوان یا داشبورد سازمانی

چندین سایت ← یک دیتابیس ← جست‌وجو و فیلتر ← داشبورد شما

به‌جای اینکه تیم شما هر روز ده‌ها سایت را بررسی کند، اخبار ۲۰، ۵۰ یا حتی صدها منبع در یک فید واحد جمع می‌شود.

اخبار اقتصادی و بازار

اخبار دلار ← دسته‌بندی خودکار ← ذخیره در دیتابیس ← نمایش در سایت

اخبار طلا، دلار، بورس، خودرو یا مسکن را از منابع مشخص جمع می‌کنیم و بر اساس دسته‌بندی در اختیار شما قرار می‌دهیم.

به زبان ساده: شما منابع خبری و مقصد را مشخص می‌کنید؛ بقیه مسیر، از پیدا کردن خبر جدید تا تحویل خودکار آن، با ماست.

شما فقط بگویید خبرها از کجا بیایند و کجا بروند

  1. منبع را مشخص کنید

    مثلاً ۱۰ سایت خبری، یک بخش خاص از سایت یا چند RSS.

  2. ما خبرها را جمع و مرتب می‌کنیم

    استخراج عنوان، متن، تصویر و تاریخ؛ حذف تکراری؛ پاک‌سازی محتوا.

  3. خبر را به مقصد شما می‌فرستیم

    تلگرام، سایت، اپلیکیشن، دیتابیس، API، JSON، Excel یا وب‌هوک (Webhook).

معرفی

این سرویس برای چه کاری است؟

جمع‌آوری، پاک‌سازی و یکپارچه‌سازی اخبار از چندین رسانه در یک جریان داده قابل جست‌وجو، تحلیل و اتصال به سامانه‌های شما.

تیم‌های رسانه‌ای، روابط عمومی و تحلیل باید هم‌زمان چند خبرگزاری، پایگاه خبری و بخش ویژه سایت‌ها را دنبال کنند. وقتی جمع‌آوری دستی باشد، خبر دیر می‌رسد، نسخه‌های مختلف یک رویداد از قلم می‌افتد و آرشیو قابل جست‌وجو نمی‌ماند.

مشکل اصلی فقط «کمبود خبر» نیست؛ داده خام هر رسانه ساختار، تاریخ، دسته‌بندی و حتی encoding متفاوتی دارد. بدون نرمال‌سازی، پایش برند یا ردیابی موضوع روی چند منبع عملاً شکست می‌خورد.

در این سرویس، WebScraper.ir جریانی طراحی می‌کند که خبر را از منابع مجاز استخراج، پاک‌سازی، در صورت نیاز حذف تکرار و در قالب یک ساختار داده واحد تحویل می‌دهد — آماده اتصال به خبرخوان، داشبورد، تحلیل کسب‌وکار یا خط پردازش زبان طبیعی.

این کار جایگزین اشتراک رسمی خبرگزاری یا انتقال حق نشر نیست؛ محدوده حقوقی و فنی هر منبع در امکان‌سنجی مشخص می‌شود.

قبل و بعد از خط خبری یکپارچه

قبل — دستی

  • باز کردن دستی ده‌ها سایت و کپی تیتر در فایل‌های جدا
  • تاریخ، دسته و encoding بین رسانه‌ها هم‌خوان نیست
  • خبر تکراری و نسخه‌های ویرایش‌شده از قلم می‌افتد

بعد — خودکار

  • اجرای زمان‌بندی‌شده روی منابع و بخش‌های هدف
  • ساختار داده واحد با تاریخ نرمال و منبع قابل فیلتر
  • حذف تکرار و ثبت به‌روزرسانی در پایش دوره‌ای

سناریو

فرض کنید تیم روابط عمومی هر صبح باید از ۱۲ رسانه گزارش یک‌صفحه‌ای داشته باشد

بدون اتوماسیون، چند نفر فقط برای باز کردن سایت‌ها و جمع‌کردن لینک وقت می‌گذارند؛ وقتی خبر ویرایش یا حذف می‌شود، نسخه قبلی در گزارش می‌ماند.

وضعیت فعلی

  • جمع‌آوری: مرور دستی خبرگزاری‌ها و کپی در Sheet یا ایمیل
  • یکپارچگی: تیتر و تاریخ بین منابع قابل اتصال نیست
  • سرعت: هشدار کلیدواژه با تأخیر یا اصلاً ارسال نمی‌شود

با خط استخراج

  • جمع‌آوری: فید زمان‌بندی‌شده از لیست منابع و دسته‌های هدف
  • یکپارچگی: خروجی واحد با منبع، شناسه خارجی و برچسب زمان
  • سرعت: وب‌هوک برای کلیدواژه و به‌روزرسانی ویرایش خبر

کاربرد

این سرویس در چه سناریوهایی استفاده می‌شود؟

از پایش برند تا خبرخوان و آرشیو — هر کارت یک مسیر رایج در پروژه‌های واقعی است.

01

پایش رسانه

دیدن سریع آنچه رسانه‌های هدف درباره صنعت یا موضوع خاص منتشر کرده‌اند، بدون باز کردن ده‌ها سایت.

02

پایش نام برند

ثبت هر اشاره به برند در تیتر، لید یا متن با منبع و زمان انتشار برای تیم PR و مدیریت بحران.

03

ردیابی موضوع

فیلتر روی کلیدواژه، دسته یا برچسب در بازه زمانی برای تحلیل روند یک موضوع (انتخابات، تنظیم‌گری، محصول رقیب).

04

تحلیل صنعت

آرشیو ساختاریافته برای گزارش هفتگی، مقایسه حجم خبر بین بازیگران و شناسایی جهت‌گیری رسانه‌ها.

05

سامانه خبرخوان

تغذیه محصول خبری داخلی یا B2B با فید یکپارچه، جست‌وجو و فیلتر منبع.

06

آرشیو خبری

ذخیره بلندمدت با شناسه منبع و برچسب زمان برای ممیزی و تحلیل تاریخی.

07

تحلیل احساسات

خروجی تمیز برای مدل پردازش زبان طبیعی یا سرویس تحلیل احساسات؛ این سرویس خود مدل را تحویل نمی‌دهد مگر در محدوده جدا توافق شود.

08

پایش رقبا

ثبت اخبار منتشرشده توسط رقبا، محصولات جدید و بیانیه‌های رسمی آن‌ها از رسانه‌های عمومی.

09

هشدار کلیدواژه

وب‌هوک یا ایمیل وقتی تیتر/متن شامل کلیدواژه‌های تعریف‌شده منتشر شد.

10

مجموعه داده پردازش زبان طبیعی

ساخت مجموعه متن فارسی با متادیتا برای آموزش یا ارزیابی مدل — در محدوده فیلدها و قرارداد منبع.

فرایند

از منبع تا تحویل

هر مرحله وضعیت مشخص دارد؛ روی هر گره توضیح کوتاه نمایش داده می‌شود.

01 شناسایی خبر

کشف URL جدید از لیست، RSS یا صفحه بخش‌ها

02 استخراج

خواندن HTML یا API داخلی مجاز و تجزیه فیلدها

03 پاک‌سازی

حذف تبلیغ، embed اضافی و نویز HTML

04 حذف تکراری

قواعد انتخاب‌شده در پروژه (URL، hash، شباهت)

05 نرمال‌سازی

تاریخ، دسته، نویسنده و encoding یکسان

06 ذخیره

پایگاه داده، نمایه جست‌وجو یا ذخیرهٔ شیء

07 تحویل

API، فایل، وب‌هوک یا همگام‌سازی با سامانه شما

چطور اخبار تکراری شناسایی می‌شوند؟

روش نهایی در طراحی پروژه انتخاب می‌شود؛ همه پروژه‌ها لزوماً از تمام روش‌های زیر استفاده نمی‌کنند.

  1. ۱URL canonical یا شناسه یکتا در منبع
  2. ۲عنوان نرمال‌شده (حذف علائم و فاصله‌های اضافه)
  3. ۳شناسه خبر در CMS منبع
  4. ۴hash محتوا یا خلاصه متن
  5. ۵شباهت محتوا (در صورت نیاز و با آستانه توافقی)
  6. ۶برچسب زمان و منبع برای نسخه‌های به‌روز

یکپارچه‌سازی داده میان رسانه‌های مختلف

  1. ۱فرمت تاریخ شمسی/میلادی و timezone واحد در خروجی
  2. ۲دسته و برچسب: نگاشت به طبقه‌بندی داخلی شما
  3. ۳نام نویسنده و رسانه: فیلدهای جدا و قابل فیلتر
  4. ۴URL: ذخیره لینک اصلی و در صورت امکان canonical
  5. ۵HTML cleanup: متن خوانا بدون اسکریپت و استایل inline
  6. ۶تصاویر: URL یا دانلود کنترل‌شده طبق قرارداد
  7. ۷encoding و متن فارسی: یکنواخت‌سازی ی/ک عربی، نیم‌فاصله در صورت نیاز

اگر خبر ویرایش یا حذف شود چه اتفاقی می‌افتد؟

رفتار سیستم در محدوده پروژه تعریف می‌شود؛ موارد زیر قابلیت‌های رایج هستند نه پیش‌فرض هر قرارداد.

  • ثبت آخرین نسخه متن و متادیتا
  • نگهداری نسخه‌های قبلی در صورت نیاز ممیزی
  • تشخیص تغییر در پایش دوره‌ای
  • به‌روزرسانی updated_at در خروجی
  • پرچم deleted یا حذف نرم از فید

داده‌ها

فیلدهای خروجی نمونه

دسترسی به هر فیلد به ساختار و اطلاعات منتشرشده در منبع وابسته است؛ همه رسانه‌ها همه فیلدها را ندارند.

عنوان خبر

تیتر اصلی صفحه

لید / خلاصه

در صورت وجود در منبع

متن اصلی

پس از پاک‌سازی HTML

نام رسانه

شناسه منبع در سیستم شما

نام نویسنده

اگر در صفحه منتشر شده باشد

تاریخ انتشار

نرمال‌شده با منطقه زمانی توافقی

تاریخ به‌روزرسانی

در صورت نمایش در منبع

دسته‌بندی

نگاشت به طبقه‌بندی داخلی شما

برچسب‌ها

برچسب‌های صفحه یا بخش

تصویر شاخص

URL یا مسیر ذخیره‌شده

تصاویر داخل متن

اختیاری

لینک اصلی

آدرس canonical در صورت امکان

شناسه خبر

شناسه خارجی منبع

منبع

کد داخلی رسانه

نمونه ساختار خروجی

نمونه نمایشی از ساختار خروجی — داده جعلی و فقط برای توضیح ساختار داده است.

{
  "title": "عنوان خبر",
  "source": "نام رسانه",
  "published_at": "1405-06-26 10:40",
  "updated_at": null,
  "category": "فناوری",
  "tags": ["هوش مصنوعی", "فناوری"],
  "author": "نام نویسنده",
  "url": "https://example.com/news/sample",
  "summary": "خلاصه یا لید خبر…",
  "content": "متن اصلی خبر (پس از پاک‌سازی HTML)…",
  "image": "https://example.com/media/hero.jpg",
  "external_id": "source-article-id"
}

فنی

معماری و فناوری

فناوری‌ها بسته به مقیاس و نیاز پروژه انتخاب می‌شوند.

Python

منطق استخراج، نرمال‌سازی و orchestration خط پردازش

BeautifulSoup / lxml

تجزیه HTML در منابع استاتیک یا نیمه‌پویا

Playwright

منابع JavaScript‌محور یا lazy-load در صورت نیاز پروژه

Redis

صف، کش یا هماهنگی پردازشگر در مقیاس مناسب

PostgreSQL

ذخیره رابطه‌ای و query برای فید و آرشیو

Elasticsearch

جست‌وجوی full-text روی حجم بالا — در صورت نیاز

منابع خبری چه محدودیت‌هایی دارند؟

  • محدودیت نرخ درخواست (محدودیت درخواست)
  • رندر داینامیک و بارگذاری تنبل محتوا
  • ورود یا اشتراک برای بخشی از محتوا
  • سیستم‌های ضدربات و تشخیص الگوی غیرعادی
  • تغییر چیدمان و انتخابگر بدون اطلاع قبلی
  • سیاست نرخ درخواست و خزش منبع
  • پرداخت‌دیواری یا محدودیت بازنشر تجاری

روش استخراج (HTTP، Playwright، API داخلی) و محدودسازی نرخ در گزارش امکان‌سنجی و قرارداد پروژه مشخص می‌شود.

استخراج یک‌باره یا پایش مداوم؟

بسته به هدف شما، اجرا می‌تواند یک‌باره (آرشیو اولیه)، ساعتی، زمان‌بندی‌شده (cron) یا پایش مداوم با صف اولویت‌دار باشد.

فرکانس با توجه به نرخ انتشار منبع، محدودیت نرخ و بودجه پردازش تنظیم می‌شود.

۱ یک‌باره استخراج آرشیو یا بازه تاریخی مشخص
۲ ساعتی / روزانه به‌روزرسانی منظم فید
۳ زمان‌بندی‌شده cron سفارشی (مثلاً صبح و عصر)
۴ پایش مداوم صف URL و پردازش نزدیک به بلادرنگ در حد مجاز منبع

روش‌های تحویل

قالب مناسب برای ویژگی
CSV / Excel تحلیل دستی و گزارش ساده و سریع برای شروع
JSON تیم توسعه ساختاریافته و قابل پردازش
API سامانه آنلاین دسترسی مستقیم و یکپارچه
پایگاه داده حجم بالا اتصال داخلی و query
Webhook رویداد لحظه‌ای اعلان خودکار تغییر

مالکیت محتوا و محدوده پروژه

سرویس استخراج داده به معنای انتقال حق نشر یا مجوز بازنشر محتوا نیست.

استفاده از داده باید مطابق قرارداد پروژه و قوانین مرتبط با سازمان شما باشد.

برخی منابع محدودیت فنی دارند (ورود، پرداخت‌دیواری، محدودیت شدید درخواست) که روی معماری و زمان تحویل اثر می‌گذارد؛ در امکان‌سنجی بررسی می‌شود.

WebScraper.ir محدوده فنی، فیلدها و روش استخراج هر منبع را قبل از توسعه کامل شفاف می‌کند.

مسیر پروژه

از بررسی تا نگهداری

  1. ۰۱ بررسی نیاز

    خروجی: سند محدوده اولیه

  2. ۰۲ ارزیابی منابع

    خروجی: گزارش ریسک و روش استخراج

  3. ۰۳ طراحی داده

    خروجی: نمونه JSON/جدول توافقی

  4. ۰۴ توسعه نمونه

    خروجی: خروجی نمونه قابل تأیید

  5. ۰۵ اعتبارسنجی

    خروجی: چک‌لیست پذیرش

  6. ۰۶ توسعه کامل

    خروجی: خط تولید پایدار

  7. ۰۷ تحویل

    خروجی: دسترسی عملیاتی

  8. ۰۸ نگهداری

    خروجی: گزارش SLA قراردادی

پرسش‌های متداول

پاسخ‌های کوتاه قبل از شروع پروژه

هر کارت یک پرسش رایج است؛ با کلیک، توضیح کامل باز می‌شود.

بله — معمولاً چند منبع در یک ساختار داده واحد جمع می‌شوند؛ هر منبع template و قواعد خاص خود را دارد.

گام بعد

پایش رسانه یا خبرخوان داخلی در دستور کار شماست؟

لیست رسانه‌های هدف، کلیدواژه‌های حساس و فرمت تحویل (API، DB، Webhook) را بفرستید؛ امکان‌سنجی منبع، حذف تکراری و فرکانس پیشنهادی را شفاف توضیح می‌دهیم.

درخواست امکان‌سنجی تماس با تیم فنی