سرویس اختصاصی WebScraper.ir
استخراج فرصت‌های شغلیآگهیهای استخدام چند سایت رایکجا جمع‌آوری می‌کنیم
شغل، شهر و منابع را مشخص می‌کنید؛ ما آگهی‌های عمومی را جمع می‌کنیم، تکراریها را حذف می‌کنیم و در Excel، API، دیتابیس یا <a href="https://telegram.org" target="_blank" rel="noopener">تلگرام</a> تحویل میدهیم.
فقط آگهی‌های شغلی عمومی در محدوده پروژه جمع‌آوری میشوند؛ رزومه و اطلاعات خصوصی کارجویان جزو این سرویس نیست.
کاربردهای واقعی
دقیقاً چه کاری می‌توانیم برای شما انجام دهیم؟
مثال ۱ — پیدا کردن فرصت‌های برنامه‌نویسی
فرض کنید فقط دنبال موقعیت‌های Python / Django در تهران با سطح Mid-Level و Senior هستید. سیستم آگهی‌های منابع انتخاب‌شده را بررسی می‌کند.
جاب‌بوردها + Careers شرکت‌ها ← فیلتر Python ← حذف تکراری ← Excel
خروجی شامل عنوان شغل، شرکت، شهر، مهارت‌ها، تاریخ انتشار و لینک درخواست است.
مثال ۲ — اطلاع از استخدام شرکت‌های رقیب
می‌خواهید بدانید چند شرکت مشخص چه زمانی نیروی جدید جذب می‌کنند — مثلاً «Data Engineer» در تهران، تمام‌وقت، با لینک آگهی در اعلان.
صفحه Careers شرکت X ← آگهی جدید ← ثبت در دیتابیس ← اعلان تلگرام
مثال ۳ — تحلیل بازار کار
می‌خواهید ببینید شرکت‌ها بیشتر دنبال چه مهارت‌هایی هستند — نه حدس، بلکه شمارش روی صدها یا هزاران آگهی.
۱۰۰۰ آگهی برنامه‌نویسی ← استخراج مهارت‌ها ← شمارش Python / Django / <a href="https://docs.docker.com/" target="_blank" rel="noopener">Docker</a> ← داشبورد
مثال ۴ — مشاغل صنعتی و خدماتی
این سرویس فقط برای شغل‌های فناوری نیست — مثلاً انباردار در اصفهان، کارشناس فروش در مشهد یا نیروی تولید در کرج.
آگهی‌های عمومی مرتبط ← محل کار، نوع همکاری، شیفت و حقوق (در صورت درج در آگهی)
مثال ۵ — Excel روزانه برای تیم منابع انسانی
هر روز ساعت ۸ صبح آگهی‌های تازه «کارشناس فروش تهران» — بدون API، فقط فایل مرتب و بدون تکرار.
عنوان شغل | شرکت | شهر | حقوق | مهارت | تاریخ | لینک درخواست
مثال ۶ — ساخت سایت یا اپ کاریابی
چند جاب‌بورد با عنوان‌های متفاوت برای یک نقش — خروجی واحد برای محصول شما.
چند جاب‌بورد ← استخراج ← یکسان‌سازی ← حذف تکراری ← API شما
مثال ۷ — فقط یک شرکت یا صنعت خاص
فقط آگهی‌های استخدام بانک‌ها یا شرکت‌های فین‌تک — بدون پوشش کل بازار کار.
لیست شرکت‌ها ← صفحات استخدام ← آگهی تازه ← دیتابیس
به زبان ساده: شما شغل‌ها و منابع موردنظر را مشخص می‌کنید؛ ما آگهی‌های جدید را پیدا، مرتب و بدون تکرار در قالب موردنیاز شما تحویل میدهیم.
شروع ساده
شما فقط ۳ چیز را مشخص کنید
-
دنبال چه شغلی هستید؟
مثلاً:
- برنامه‌نویس
- فروش
- دیجیتال مارکتینگ
- حسابدار
- انباردار
- Data Engineer
-
از کجا و کجا؟
مثلاً:
- جاب‌بوردها
- سایت شرکت‌ها
- چند شرکت مشخص
- تهران
- اصفهان
- دورکاری
-
خروجی را چطور می‌خواهید؟
مثلاً:
- Excel
- <a href="https://www.google.com" target="_blank" rel="noopener">Google</a> Sheet
- API
- Database
- Dashboard
- Telegram
معرفی
از جاب‌بوردهای و صفحات استخدامی موردنظر شما — یک خروجی یکدست
اگر تیم جذب دارید، حتماً این تجربه را دارید: صبح جابینجا را باز می‌کنید، بعد ایرانتلنت، بعد صفحه «فرصت‌های شغلی» چند شرکت رقیب — و همان موقعیت Backend دوبار در اکسل می‌نشیند. این سرویس همان کار را منظم می‌کند: منبع‌هایی که شما انتخاب می‌کنید، با فیلتر عنوان، مهارت و شهر، روی زمان‌بندی مشخص اجرا میشوند.
مهم نیست دنبال «Data Engineer در تهران» هستید یا «کارگر خط تولید در اصفهان»؛ ساختار صفحه هر سایت فرق دارد، ولی خروجی برای شما یکدست میماند — تا بتوانید روی HRMS، داشبورد داخلی یا گزارش مدیریتی حساب کنید.
تحویل هم دست شماست: بعضی تیم‌ها فقط هر صبح یک اکسل می‌خواهند؛ بعضی‌ها API می‌زنند به محصول خودشان؛ بعضی‌ها فقط وقتی شرکت X آگهی جدید داد خبر بگیرند. هر دو مدل — و ترکیبشان — در پروژه قابل طراحی است.
نام سایتهایی که در این صفحه می‌بینید نمونه‌اند؛ منبع واقعی پروژه همان لیستی است که با هم در امکانسنجی نهایی می‌کنیم.
منابع
از کدام سایت‌ها می‌توان آگهی استخراج کرد؟
هر پلتفرمی که آگهی استخدام را به‌صورت عمومی نشان میدهد — جاب‌بورد ایرانی، سایت بینالمللی، یا صفحه Careers خود شرکت — می‌تواند وارد محدوده پروژه شود؛ بعد از بررسی ساختار منبع، HTML و محدودیت نرخ.
پلتفرم‌های کاریابی داخل کشور
معمولاً لیست آگهی + صفحه جزئیات دارند؛ فیلتر شهر و عنوان در خود سایت هم هست — ما همان را در خط استخراج شما تکرار می‌کنیم، با خروجی واحد برای همه.
- جابینجا حجم بالا، دسته‌بندی شغلی و شهر
- ایرانتلنت شرکت، سطح و مهارت در آگهی
- کوئرا جاب تمرکز بر فناوری و استارتاپ
- جابویژن آگهی شرکت‌ها و برندهای مختلف
- شیپور (بخش استخدام) برخی مشاغل صنعتی و خدماتی
سایت شرکت و کانال‌های تخصصی
خیلی وقتها بهترین آگهیها روی دامنه خود کارفرماست، نه جاب‌بورد. میتوانید فقط careers چند شرکت هدف را پایش کنید، یا ترکیب جاب‌بورد + سایت رسمی.
- صفحه Careers شرکت‌ها لیست ثابت یا پورتال جدا
- دیوار (دسته استخدام) مشاغل خدماتی و محلی — با فیلتر شهر
- پلتفرم‌های حوزهای مثلاً پزشکی، حقوقی، فریلنس
جاب‌بورد و شبکه حرفهای جهانی
برای تیمهایی که موقعیت دورکار، مهاجرت کاری یا معیار حقوق جهانی می‌خواهند. هر منبع قوانین و محدودیت خاص خودش را دارد — امکانسنجی قبل از قول دادن الزامی است.
- LinkedIn فقط روش‌های مجاز و در محدوده توافقی
- Indeed لیست و جزئیات بر اساس کشور
- Glassdoor غالباً حقوق و نظرات — فیلدهای انتخابی
- Wellfound استارتاپ و سرمایهگذار
- Remote OK / We Work Remotely تمرکز ریموت
WebScraper.ir به نام‌های ذکر‌شده وابسته نیست؛ فقط به‌عنوان مثال رایج بازار کار ایران و جهان آمده‌اند.
حوزه شغلی
چه نوع کارهایی را می‌توان از سایتهای مختلف جمع کرد؟
محدودیت اصلی «نوع سایت» نیست؛ محدودیت «آگهی عمومی کارفرما» است. از نقش‌های فنی تا خدمات، فروش و تولید — هر کدام فیلدهای متفاوتی در صفحه دارند، اما در خروجی شما قابل یکدست‌سازی‌اند.
فناوری و محصول
Backend، Frontend، عملیات فنی، Data، PM
نمونه منابع: کوئرا، جابینجا، careers استارتاپ‌ها، LinkedIn
- مهارت‌ها
- سطح تجربه
- نوع همکاری
- حقوق (در صورت درج)
فروش و بازاریابی
فروشنده، اکانت، دیجیتال مارکتینگ
نمونه منابع: ایرانتلنت، جابویژن، سایت شرکت‌های B2B
- پورسانت / حقوق ثابت
- شهر و حضور
- زبان یا صنعت هدف
عملیات و صنعت
انبار، تولید، HSE، لجستیک
نمونه منابع: جاب‌بوردهای عمومی، دیوار، سایت کارخانه‌ها
- شیفت
- محل کار
- مزایای غیرنقدی در متن آگهی
خدمات و پشتیبانی
کال‌سنتر، مهمان‌داری، مراقبت
نمونه منابع: جابینجا، آگهی محلی، careers زنجیره‌ای
- جنسیت/سن اگر در آگهی آمده
- محله
- تمام‌وقت / پاره‌وقت
مدیریت و تخصصی
مدیر مالی، حقوقی، منابع انسانی
نمونه منابع: ایرانتلنت، LinkedIn، صفحه استخدام هلدینگ
- سابقه کار
- حوزه صنعت
- زبان انگلیسی
تحویل
داده را چطور به دستتان می‌رسانیم؟
یک خط استخراج؛ چند درِ خروجی. در طراحی پروژه مشخص می‌کنیم کدام کانال برای تیم شما اصلی است و کدام پشتیبان یا فقط برای هشدار استفاده میشود.
API و وبهوک
برای محصول و HRMS: دریافت دوره‌ای یا ارسال وقتی آگهی جدید ثبت شد.
فایل و صفحه‌گسترده
اکسل یا CSV هر صبح در ایمیل، یا همگام‌سازی خودکار به Google Sheet.
دیتابیس و داشبورد
ذخیره در PostgreSQL و اتصال به داشبورد داخلی یا تحلیل کسب‌وکار شما.
اعلان فوری
وقتی عنوان یا شرکت هدف شما آگهی تازه داد — تلگرام، ایمیل یا Slack.
نمونه سناریو
هر صبح آگهی‌های تازه سه جاب‌بورد، بدون تکرار، با لینک apply.
هر بار careers شرکت X موقعیت باز کرد، همان لحظه خبر بگیرید.
ببینید این ماه چند آگهی «Kubernetes» در تهران بوده — نه حدس، عدد.
استارتاپ کاریابی خودش را با API از چند منبع تغذیه می‌کند.
فرایند
مسیر کار از منبع تا فید شما
-
لیست منابع و فیلتر
شما می‌گویید از کجا و برای چه عنوان/شهری؛ ما امکانسنجی می‌کنیم.
-
کشف و جزئیات
لیست آگهی روزانه خوانده میشود؛ صفحه هر آگهی برای فیلدهای عمیق.
-
تمیزکاری
حذف تکراری، نرمال شهر و مهارت، استخراج حقوق از متن در صورت امکان.
-
تحویل
همان کانالی که انتخاب کردید — به‌همراه لاگ خطا و گزارش اجرا.
مراحل فنی در خط استخراج
ساختار صفحه، نرخ درخواست، لیست/جزئیات
عنوان، مهارت، شهر، لیست شرکت
Scrapy / Playwright بسته به سایت
URL، یا عنوان+شرکت نرمال
مهارت، نوع همکاری، تاریخ
کانال‌های توافق‌شده + پایش
آگهی تکراری را چطور کم می‌کنیم؟
یک موقعیت اغلب در دو جاب‌بورد و سایت شرکت همزمان دیده میشود — در گزارش شما یک بار می‌آید.
- ۱شناسه یکتا منبع (URL یا ID آگهی)
- ۲درهم‌سازی عنوان نرمال + نام شرکت
- ۳ادغام نرم با پرچم «تکراری احتمالی»
- ۴قواعد سفارشی برای پورتال خاص
یکدست برای فیلتر و داشبورد
- ۱مهارت‌ها به واژه‌های استاندارد شما
- ۲شهر و استان جدا از متن آزاد
- ۳نوع همکاری با enum ثابت
- ۴تاریخ واحد در تمام منابع
آگهی بسته شد یا عوض شد؟
در اجرای دوره‌ای، اگر آگهی از لیست حذف شود یا متن/حقوق عوض شود، در فید قابل ردیابی است.
- آخرین زمان دیده‌شدن
- وضعیت منقضی / بسته
- تفاوت عنوان یا حقوق روی همان URL
داده‌ها
فیلدهایی که در خروجی می‌آید
حقوق فقط وقتی استخراج میشود که کارفرما آن را عمومی در همان صفحه گذاشته باشد.
داده نمایشی — برای تصمیم فنی در پروژه واقعی ساختار داده نهایی را امضا می‌کنید.
{
"source": "jobinja",
"source_label": "جابینجا",
"url": "https://example.com/jobs/55421",
"title": "توسعه‌دهنده Backend (Python)",
"company": "شرکت نمونه",
"location": "تهران — دورکاری ترکیبی",
"employment_type": "full_time",
"experience_level": "mid",
"salary_text": "توافقی",
"skills": ["Python", "Django", "PostgreSQL"],
"published_at": "1405-06-24",
"apply_url": "https://example.com/jobs/55421/apply",
"dedupe_key": "title_company_hash"
}فنی
ابزارها، زمان‌بندی و محدودیت‌ها
Python
خط پردازش، حذف تکرار و نرمال
Scrapy
لیست‌های بزرگ جاب‌بورد
Playwright
سایتهای اسکریپتی یا برنامه تک‌صفحه‌ای
PostgreSQL
آرشیو، جست‌وجو و API
واقع‌بینانه درباره محدودیت‌ها
- ورود برای دیدن حقوق یا جزئیات کامل
- ضدربات و سقف نرخ درخواست
- تغییر ناگهانی چیدمان صفحه
- سیاست خزش و دسترسی فقط با ورود
- آگهی منقضی که هنوز در لیست مانده
معماری استخراج بر اساس ساختار هر جاب‌بورد و خروجی موردنیاز شما در امکانسنجی بسته میشود.
چند وقت یک‌بار اجرا شود؟
جاب‌بوردها معمولاً روزانه آگهی تازه دارند؛ برای careers یک شرکت خاص ممکن است هفتگی کافی باشد. با محدودیت منبع هماهنگ می‌کنیم.
روش‌های تحویل رایج
مالکیت محتوا و محدوده پروژه
سرویس استخراج داده به معنای انتقال حق نشر یا مجوز بازنشر محتوا نیست.
استفاده از داده باید مطابق قرارداد پروژه و قوانین مرتبط با سازمان شما باشد.
برخی منابع محدودیت فنی دارند (ورود، پرداخت‌دیواری، محدودیت شدید درخواست) که روی معماری و زمان تحویل اثر می‌گذارد؛ در امکانسنجی بررسی میشود.
WebScraper.ir محدوده فنی، فیلدها و روش استخراج هر منبع را قبل از توسعه کامل شفاف می‌کند.
پرسش‌های متداول
پرسش‌های متداول قبل از قرارداد
از محدوده منبع تا نوع خروجی — پاسخ کوتاه همان چیزی است که در امکانسنجی دقیق‌تر مینویسیم.
از هر منبعی که آگهی عمومی نشان میدهد و در امکانسنجی تأیید شود — بله. سایتهایی که فقط با ورود محتوا میدهند یا ساختار دسترسی پیچیده دارند، با روش متناسب (نشست/API) یا محدوده جدا در قرارداد تعریف میشوند.
رایجترینها جابینجا، ایرانتلنت، کوئرا جاب، جابویژن و صفحه careers شرکتهاست؛ لیست نهایی همان چیزی است که در قرارداد مینویسیم.
در پروژههای بینالمللی بله — پس از تست فنی ساختار صفحه و محدودیتهای ضدربات، بدون وعده قطعی قبل از امکانسنجی.
نه؛ فقط اگر کارفرما عمومی درج کرده باشد.
ترکیب URL/ID و عنوان+شرکت — قابل تنظیم per پروژه.
هر دو رایج است؛ وبهوک و تلگرام هم میشود.
خیر — فقط آگهی استخدام کارفرما.
در قرارداد نگهداری پوشش میدهیم.
بله — با فیلتر عنوان/دسته و ساختار داده واحد.
بسته به قرارداد: از فید روزانه تا اعلان لحظهای برای شرکت هدف؛ در امکانسنجی فرکانس و SLA را شفاف مینویسیم.
گام بعد
لیست سایت‌ها و شغل‌های هدف را دارید؟
همان را بفرستید — می‌گوییم از کدام منبع چه فیلدی واقعاً قابل استخراج است، خروجی را با Excel، API یا اعلان چطور تحویل میدهیم و حذف تکراری چطور کار می‌کند.