مدل سازی پیش بینی (Predictive Modeling)

مدل سازی پیش بینی (Predictive Modeling) چیست؟

مدل سازی پیش بینی کننده (Predictive Modeling) یک تکنیک آماری است که برای پیش‌بینی نتیجه رویدادهای آینده بر اساس داده‌های تاریخی استفاده می‌شود. این شامل ساخت یک مدل ریاضی است که متغیرهای ورودی مربوطه را دریافت کرده و یک متغیر خروجی پیش‌بینی‌شده تولید می‌کند.

نمونه‌هایی از مدل‌سازی پیش‌بینی شامل تخمین کیفیت سرنخ فروش، احتمال ارسال هرزنامه یا احتمال کلیک روی یک لینک یا خرید یک محصول توسط یک نفر است. این قابلیت‌ها اغلب در برنامه‌های کاربردی تجاری مختلف گنجانده شده‌اند، بنابراین درک مکانیسم مدل‌سازی پیش‌بینی برای عیب‌یابی و بهبود عملکرد ارزشمند است.

اگرچه مدل‌سازی پیش‌بینی‌کننده شامل تمرکز بر پیش‌بینی آینده است، اما می‌تواند نتایج را نیز مدل سازی پیش بینی کند (مثلاً احتمال کلاهبرداری بودن یک تراکنش). در این مورد، این رویداد قبلاً رخ داده است (کلاهبرداری رخ داده است). هدف در اینجا پیش‌بینی این است که آیا تجزیه و تحلیل‌های آینده، تراکنش را کلاهبرداری تشخیص خواهند داد یا خیر. مدل‌سازی پیش‌بینی‌کننده همچنین می‌تواند الزامات آینده را پیش‌بینی کند یا تحلیل «چه می‌شود اگر- what-if» را تسهیل کند.

←برای خرید کرک لایسنس تبلو Tableau با تمام ویژگی ها کلیک کنید

انواع مدل‌های برتر پیش‌بینی (Predictive Modeling)

روش‌های زیادی برای طبقه‌بندی مدل‌های پیش‌بینی وجود دارد و در عمل، می‌توان چندین مدل را برای بهترین نتایج ترکیب کرد. برجسته‌ترین تمایز بین مدل‌های بدون نظارت در مقابل مدل‌های تحت نظارت است.

مدل‌های بدون نظارت از آمار سنتی برای طبقه‌بندی مستقیم داده‌ها با استفاده از تکنیک‌هایی مانند رگرسیون لجستیک، تحلیل سری‌های زمانی و درخت‌های تصمیم‌گیری استفاده می‌کنند.
مدل‌های تحت نظارت از تکنیک‌های جدیدتر یادگیری ماشین مانند شبکه‌های عصبی برای شناسایی الگوهای پنهان در داده‌های قبلاً برچسب‌گذاری شده استفاده می‌کنند.

تفاوت اصلی بین این رویکردها این است که مدل‌های تحت نظارت نیاز به دقت بیشتری برای برچسب‌گذاری صحیح مجموعه داده‌ها از قبل دارند.

اسکات بوخهولز، مدیر ارشد فناوری دولت و خدمات رفاهی و مدیر تحقیقات فناوری‌های نوظهور در شرکت مشاوره دیلویت، گفت: «کاربرد انواع مختلف مدل‌ها بیشتر مختص حوزه است تا صنعت.»

به عنوان مثال، در موارد خاص، تحلیل رگرسیون آماری استاندارد ممکن است بهترین قدرت پیش‌بینی را ارائه دهد. در موارد دیگر، مدل‌های پیچیده‌تر رویکرد مناسبی هستند. به عنوان مثال، در یک بیمارستان، تکنیک‌های آماری کلاسیک ممکن است برای شناسایی محدودیت‌های کلیدی برنامه‌ریزی کافی باشند، اما ممکن است برای بهینه‌سازی تخصیص بیمار به پزشکان به شبکه‌های عصبی، نوعی یادگیری عمیق، نیاز باشد.

پس از جمع‌آوری داده‌های نمونه، دانشمندان داده باید یک مدل مناسب انتخاب کنند. رگرسیون خطی یکی از ساده‌ترین انواع مدل‌های پیش‌بینی است. مدل‌های خطی از دو متغیر همبسته – یکی مستقل و دیگری وابسته – استفاده می‌کنند و یکی را روی محور x و دیگری را روی محور y رسم می‌کنند. مدل بر خط بهترین برازش با نقاط داده منطبق بود. دانشمندان داده می‌توانند از این روش برای پیش‌بینی وقوع آینده متغیر وابسته استفاده کنند.

برخی از محبوب‌ترین روش‌ها عبارتند از:

درخت‌های تصمیم‌گیری الگوریتم‌های درخت تصمیم‌گیری، داده‌ها (استخراج‌شده، متن‌باز، داخلی) را می‌گیرند و آن‌ها را در شاخه‌هایی رسم می‌کنند تا نتایج احتمالی تصمیمات مختلف را نشان دهند. درخت‌های تصمیم‌گیری متغیرهای پاسخ را طبقه‌بندی می‌کنند و متغیرهای پاسخ را بر اساس تصمیمات گذشته پیش‌بینی می‌کنند، می‌توانند با مجموعه داده‌های ناقص استفاده شوند و توضیح آن‌ها آسان و در دسترس دانشمندان داده تازه‌کار هستند.
تحلیل سری‌های زمانی این روشی برای تحلیل رویدادهای یک توالی زمانی است. شما می‌توانید با تحلیل روندهای گذشته و برون‌یابی از آنجا، رویدادهای آینده را پیش‌بینی کنید.
رگرسیون لجستیک یک روش تحلیل آماری است که به آماده‌سازی داده‌ها کمک می‌کند. با افزایش مقدار داده‌های ورودی، توانایی الگوریتم در مرتب‌سازی و طبقه‌بندی آنها افزایش می‌یابد و به آن امکان پیش‌بینی می‌دهد. شبکه‌های عصبی. این تکنیک حجم زیادی از داده‌های برچسب‌گذاری شده را تجزیه و تحلیل می‌کند تا رابطه بین متغیرهای موجود در داده‌ها را پیدا کند. شبکه‌های عصبی امروزه در قلب بسیاری از نمونه‌های هوش مصنوعی (AI)، از جمله تشخیص تصویر، دستیاران هوشمند و زبان طبیعی، قرار دارند.

پیشرفته‌ترین حوزه مدل‌سازی پیش‌بینی، شبکه‌های عصبی است. این نوع مدل یادگیری ماشینی به طور خودکار مقادیر زیادی از داده‌های برچسب‌گذاری شده را تجزیه و تحلیل می‌کند و به دنبال همبستگی بین متغیرهای درون داده‌ها می‌گردد. این مدل حتی می‌تواند همبستگی‌های ظریفی را که تنها پس از تجزیه و تحلیل میلیون‌ها نقطه داده پدیدار می‌شوند، شناسایی کند. سپس الگوریتم می‌تواند در مورد فایل‌های داده بدون برچسب که از نظر نوع مشابه مجموعه داده‌ای هستند که بر روی آن آموزش دیده‌اند، استنتاج کند.

الگوریتم‌های رایج مدل‌سازی پیش‌بینی (Predictive Modeling)

جنگل تصادفی – این الگوریتم درخت‌های تصمیم‌گیری مستقل را ترکیب می‌کند و از طبقه‌بندی و رگرسیون برای سازماندهی و برچسب‌گذاری مقادیر زیادی از داده‌ها استفاده می‌کند.
مدل گرادیان افزوده – مشابه جنگل تصادفی، این الگوریتم از چندین درخت تصمیم‌گیری استفاده می‌کند، اما در این روش، هر درخت خطاهای درخت قبلی را اصلاح می‌کند و نمایش دقیق‌تری ایجاد می‌کند.
K-Means. این الگوریتم نقاط داده را به روشی مشابه مدل‌های خوشه‌بندی گروه‌بندی می‌کند و در ابداع پیشنهادهای خرده‌فروشی شخصی‌سازی‌شده محبوب است. این الگوریتم با جستجوی شباهت‌ها در گروه‌های بزرگی از مشتریان، پیشنهادهای شخصی‌سازی‌شده ایجاد می‌کند.
Prophet – Prophet. این الگوریتم یک روش پیش‌بینی است، به‌ویژه هنگام سروکار داشتن با برنامه‌ریزی ظرفیت. این الگوریتم با داده‌های سری زمانی سروکار دارد و نسبتاً انعطاف‌پذیر است.

کاربردهای مدل‌سازی پیش‌بینی چیست؟

مدل‌سازی پیش‌بینی (Predictive Modeling) اغلب با هواشناسی و پیش‌بینی آب و هوا مرتبط است، اما مدل‌های پیش‌بینی کاربردهای زیادی در تجارت دارند. تکنیک‌های تحلیل پیش‌بینی امروزی می‌توانند الگوهایی را در داده‌ها کشف کنند تا خطرات و فرصت‌های آینده برای یک سازمان را شناسایی کنند.

بوخهولز گفت: «تقریباً هر جایی که یک انسان هوشمند مرتباً در محیطی غنی از داده‌های تاریخی پیش‌بینی می‌کند، کاربرد خوبی برای تحلیل پیش‌بینی است. از این گذشته، این مدل هیچ منیتی ندارد و خسته نمی‌شود.»

یکی از رایج‌ترین کاربردهای مدل‌سازی پیش‌بینی (Predictive Modeling) در تبلیغات و بازاریابی آنلاین است. مدل‌سازان از داده‌های تاریخی مرورگرهای وب برای تعیین نوع محصولاتی که کاربران ممکن است به آنها علاقه‌مند باشند و اینکه احتمالاً روی چه چیزی کلیک می‌کنند، استفاده می‌کنند.

فیلترهای اسپم بیزی از مدل‌سازی پیش‌بینی برای شناسایی اینکه آیا یک پیام احتمالاً اسپم است یا خیر، استفاده می‌کنند.

در تشخیص کلاهبرداری، از مدل‌سازی پیش‌بینی برای شناسایی داده‌های پرت در یک مجموعه داده که نشان‌دهنده فعالیت کلاهبرداری هستند، استفاده می‌شود. در مدیریت ارتباط با مشتری، از مدل‌سازی پیش‌بینی برای هدف قرار دادن پیام‌ها به مشتریانی استفاده می‌شود که احتمالاً قصد خرید دارند.

کارول گفت مدل‌سازی پیش‌بینی‌کننده (Predictive Modeling) به طور گسترده در تعمیر و نگهداری پیش‌بینی‌کننده استفاده می‌شود، که به یک صنعت بزرگ با میلیاردها دلار درآمد تبدیل شده است. یکی از نمونه‌های قابل توجه را می‌توان در صنعت هواپیمایی یافت، جایی که مهندسان از دستگاه‌های اینترنت اشیا برای نظارت از راه دور بر عملکرد اجزای هواپیما مانند پمپ‌های سوخت یا موتورهای جت استفاده می‌کنند.

این ابزارها امکان استقرار پیشگیرانه منابع تعمیر و نگهداری را فراهم می‌کنند تا استفاده از تجهیزات افزایش یافته و خرابی‌های غیرمنتظره محدود شود. کارول گفت: «این اقدامات می‌توانند به طور قابل توجهی کارایی عملیاتی را در دنیای «درست به موقع» که در آن غافلگیری‌ها می‌توانند بسیار پرهزینه باشند، بهبود بخشند.»

سایر حوزه‌هایی که در آنها از مدل‌های پیش‌بینی استفاده می‌شود عبارتند از:

برنامه ریزی ظرفیت
مدیریت تغییر
بازیابی فاجعه
مهندسی
مدیریت امنیت فیزیکی و دیجیتالی
برنامه ریزی شهری

چگونه یک مدل پیش‌بینی (Predictive Modeling) بسازیم

ساخت یک مدل پیش‌بینی با شناسایی داده‌های تاریخی که نشان دهنده نتیجه‌ای است که می‌خواهید پیش‌بینی کنید، آغاز می‌شود.

کارول گفت: «این مدل می‌تواند نتایج را از داده‌های تاریخی استنباط کند، اما نمی‌تواند آنچه را که قبلاً ندیده است پیش‌بینی کند.» بنابراین حجم و وسعت داده‌های مورد استفاده برای آموزش مدل برای اطمینان از پیش‌بینی‌های دقیق آینده بسیار مهم است.

گام بعدی شناسایی راه‌هایی برای تمیز کردن، تبدیل و ترکیب داده‌های خام است که منجر به پیش‌بینی‌های بهتر می‌شود.

مهارت نه تنها در یافتن مجموعه مناسب داده‌های خام، بلکه در تبدیل آن به ویژگی‌های داده‌ای که برای یک مدل معین مناسب‌تر هستند نیز مورد نیاز است. به عنوان مثال، محاسبه میانگین‌های هفتگی در یک بازه زمانی ممکن است مفیدتر باشد و منجر به الگوریتم‌های بهتری نسبت به سطوح بلادرنگ شود.

همچنین حذف داده‌های تصادفی یا نامربوط به یک مدل مهم است. در بهترین حالت، داده‌های اضافی باعث کند شدن مدل می‌شوند و در بدترین حالت، منجر به مدل‌هایی با دقت کمتر می‌شوند.

این هم هنر است و هم علم. هنر در پرورش حس شهودی از معنای چیزها و درک شهودی علل اساسی نهفته است. علم در استفاده روشمند از الگوریتم‌ها برای دستیابی به نتایج قابل اعتماد و سپس ارزیابی آن الگوریتم‌ها در طول زمان نهفته است. صرفاً به این دلیل که یک فیلتر اسپم در روز اول کار می‌کند، به این معنی نیست که بازاریابان پیام‌های خود را تنظیم نمی‌کنند، که باعث می‌شود فیلتر کمتر مؤثر باشد.

تجزیه و تحلیل بخش‌های نماینده از داده‌های موجود – نمونه‌برداری – می‌تواند به سرعت بخشیدن به زمان توسعه مدل‌ها کمک کند و امکان استقرار سریع‌تر آنها را فراهم کند.

مزایای مدل‌سازی پیش‌بینی‌کننده

فیل کوپر، معاون محصول در Clari، یک استارتاپ نرم‌افزاری RevOps، گفت برخی از مزایای برتر مدل‌سازی پیش‌بینی‌کننده در کسب‌وکار عبارتند از:

منابع مدل‌سازی پیش‌بینی‌کننده برای شناسایی تبدیل سرنخ‌های فروش و ارسال بهترین سرنخ‌ها به تیم‌های فروش داخلی استفاده می‌شوند. پیش‌بینی می‌کنند که آیا یک پرونده خدمات مشتری تشدید می‌شود و آن را به طور مناسب اولویت‌بندی و مسیردهی می‌کند. و پیش‌بینی می‌کنند که آیا مشتری صورتحساب خود را به موقع پرداخت می‌کند و گردش کار حساب‌های دریافتی را بهینه می‌کنند.
بهبود حاشیه سود. مدل‌سازی پیش‌بینی‌کننده برای پیش‌بینی موجودی، ایجاد استراتژی‌های قیمت‌گذاری، پیش‌بینی تعداد مشتریان و پیکربندی چیدمان فروشگاه برای به حداکثر رساندن فروش استفاده می‌شود.
بهینه‌سازی کمپین‌های بازاریابی
مدل‌سازی پیش‌بینی‌کننده برای کشف بینش‌های جدید مشتری و پیش‌بینی رفتارها بر اساس ورودی‌ها استفاده می‌شود و به سازمان‌ها اجازه می‌دهد تا استراتژی‌های بازاریابی را تنظیم کنند، مشتریان ارزشمند را حفظ کنند و از فرصت‌های فروش متقابل بهره‌برداری کنند.
کاهش ریسک. تجزیه و تحلیل پیش‌بینی‌کننده می‌تواند فعالیت‌های غیرمعمول مانند معاملات جعلی، جاسوسی شرکتی یا حملات سایبری را شناسایی کند تا زمان پاسخگویی و پیامدهای منفی را کاهش دهد.

تکنیک‌های مورد استفاده در مدل‌سازی پیش‌بینی‌کننده، برخلاف قطعی، احتمالی هستند. این بدان معناست که مدل‌ها احتمالات یک نتیجه را تولید می‌کنند و شامل مقداری عدم قطعیت نیز می‌شوند.

کوپر گفت: «این یک تفاوت اساسی و ذاتی بین مدل‌سازی داده‌های واقعی تاریخی در مقابل پیش‌بینی رویدادهای آینده (بر اساس داده‌های تاریخی) است و پیامدهایی برای نحوه‌ی انتقال این اطلاعات به کاربران دارد. درک این تفاوت برای شفافیت و توضیح در مورد چگونگی انجام یک پیش‌بینی یا توصیه بسیار مهم است.»

مدل‌سازی پیش‌بینی‌کننده در مقابل تجزیه و تحلیل پیش‌بینی‌کننده

مدل‌سازی پیش‌بینی‌کننده تنها یکی از جنبه‌های فرآیند بزرگ‌تر تجزیه و تحلیل پیش‌بینی‌کننده است. این فرآیند شامل جمع‌آوری، تبدیل، پاکسازی و مدل‌سازی داده‌ها با استفاده از متغیرهای مستقل، و سپس تکرار در صورت عدم پرداخت کامل مدل به مشکل مورد نظر، می‌شود.

تری سیج، مدیر ارشد فناوری در 1010data، یک شرکت مشاوره تحلیل، می‌گوید: «مدل‌سازی پیش‌بینی‌کننده زمانی انجام می‌شود که داده‌ها جمع‌آوری، تبدیل و پاکسازی شده باشند.» جمع‌آوری، تبدیل و پاکسازی داده‌ها فرآیندهایی هستند که برای انواع دیگر توسعه تحلیلی نیز استفاده می‌شوند.

سیج توضیح داد: «تفاوت با تجزیه و تحلیل پیش‌بینی‌کننده در گنجاندن و حذف متغیرها در طول فرآیند تکراری مدل‌سازی است.» این امر در صنایع و موارد استفاده مختلف متفاوت خواهد بود، زیرا از داده‌های متنوعی استفاده می‌شود و متغیرهای مختلفی در طول تکرار مدل‌سازی کشف می‌شوند.

به عنوان مثال، در مراقبت‌های بهداشتی، مدل‌های پیش‌بینی‌کننده ممکن است حجم عظیمی از داده‌های مربوط به بیمار را دریافت کنند تا پاسخ بیمار به درمان‌ها و پیش‌آگهی خاص را پیش‌بینی کنند. داده‌ها ممکن است شامل تاریخچه پزشکی خاص بیمار، محیط، عوامل خطر اجتماعی، ژنتیک باشد — که همه اینها از فردی به فرد دیگر متفاوت است. استفاده از مدل‌سازی پیش‌بینی‌کننده در مراقبت‌های بهداشتی نشان‌دهنده تغییر از درمان بیماران بر اساس میانگین‌ها به درمان بیماران به عنوان افراد است.

به طور مشابه، در تحلیل‌های بازاریابی، مدل‌های پیش‌بینی ممکن است از مجموعه داده‌های مبتنی بر حقوق، عادات خرج کردن و جمعیت‌شناسی مصرف‌کننده استفاده کنند. داده‌ها و مدل‌سازی‌های متفاوتی برای بانکداری و بیمه برای کمک به تعیین رتبه‌بندی اعتباری و شناسایی فعالیت‌های متقلبانه استفاده خواهد شد.

ابزارهای مدل‌سازی پیش‌بینی‌کننده

قبل از استقرار یک ابزار مدل‌ پیش‌بینی، بسیار مهم است که سازمان شما سوالات خود را بپرسد و موارد زیر را مرتب کند: مشخص کند چه کسی نرم‌افزار را اجرا می‌کند، کاربردهای این ابزارها چگونه خواهد بود، تجزیه و تحلیل پیش‌بینی‌کننده شما با چه ابزارهای دیگری تعامل خواهد داشت، و همچنین بودجه.

ابزارهای مختلف نیازمندی‌های متفاوتی در زمینه سواد داده (data literacy) دارند، در موارد استفاده مختلف مؤثر هستند، بهترین استفاده را با نرم‌افزارهای مشابه دارند و می‌توانند گران باشند. هنگامی که سازمان شما در مورد این مسائل شفافیت پیدا کرد، مقایسه ابزارها آسان‌تر می‌شود.

Sisense (سایسنس): یک نرم‌افزار هوش تجاری (Business Intelligence) که شرکت‌های مختلف را هدف قرار می‌دهد و طیف وسیعی از ویژگی‌های تجزیه و تحلیل تجاری را ارائه می‌دهد. این نرم‌افزار به حداقل پیش‌زمینه فناوری اطلاعات نیاز دارد.
Oracle Crystal Ball (اوراکل کریستال بال): یک برنامه کاربردی مبتنی بر صفحه گسترده (spreadsheet-based) با تمرکز بر مهندسان، برنامه‌ریزان استراتژیک و دانشمندان در صنایع مختلف که می‌تواند برای مدل‌سازی پیش‌بینی‌کننده، پیش‌بینی، و همچنین شبیه‌سازی و بهینه‌سازی استفاده شود.
IBM SPSS Predictive Analytics Enterprise (آی‌بی‌ام اس‌پی‌اس‌اس پردیکتیو آنالیتیکس انترپرایز): یک پلتفرم هوش تجاری که از ادغام منبع باز (open-source integration) پشتیبانی می‌کند و دارای تجزیه و تحلیل توصیفی و پیش‌بینی‌کننده و همچنین آماده‌سازی داده‌ها است.

آینده مدل‌سازی پیش‌بینی‌کننده

سه روند کلیدی وجود دارد که آینده مدل‌سازی داده‌ها را هدایت می‌کنند.

قابلیت‌های مدل‌سازی داده‌ها در برنامه‌های کاربردی تجاری و ابزارهای علوم داده شهروندی بیشتر گنجانده می‌شوند. این قابلیت‌ها می‌توانند چارچوب‌ها و الگوهای مناسبی را برای کار با مدل سازی پیش بینی کننده در اختیار کاربران تجاری قرار دهند.
ابزارها و چارچوب‌های مدل‌سازی مدل سازی پیش بینی کم کد، پاکسازی سریع داده‌ها، ساخت مدل‌ها و بررسی نتایج را برای دانشمندان داده آسان‌تر می‌کنند. سوم، ابزارهای بهتری در راه هستند تا بخش عمده‌ای از کارهای مهندسی داده مورد نیاز برای تولید مدل‌های پیش‌بینی را خودکار کنند. کارول پیش‌بینی می‌کند که این امر به سازمان‌های بیشتری اجازه می‌دهد تا از ساخت مدل‌های ساده به استفاده از آنها به روش‌هایی که ارزش بالقوه آنها را ارائه می‌دهد، روی آورند.

مدلی که برای مدل سازی پیش بینی (predictive modeling) پیشنهاد می‌شود، یک نمودار مفهومی است که اجزای کلیدی این فرآیند را نشان می‌دهد. این نمودار شامل مراحل زیر است:

جمع آوری داده‌ها (Data Collection): نمایش منابع داده‌های مختلف (مانند پایگاه داده‌ها، فایل‌ها، APIها) که اطلاعات لازم برای مدل سازی را فراهم می‌کنند.
پیش پردازش داده‌ها (Data Preprocessing): نشان دادن تکنیک‌های پاکسازی، تبدیل و مهندسی ویژگی (feature engineering) برای آماده‌سازی داده‌ها.
انتخاب مدل (Model Selection): ارائه بلوکی برای انتخاب الگوریتم مناسب (مانند رگرسیون، طبقه‌بندی، خوشه‌بندی) بر اساس نوع مسئله.
آموزش مدل (Model Training): نمایش فرآیند آموزش مدل با استفاده از داده‌های آماده شده.
ارزیابی مدل (Model Evaluation): نمایش معیارهای ارزیابی (مانند دقت، صحت، F1-score) برای سنجش عملکرد مدل.
استقرار مدل (Model Deployment): نشان دادن چگونگی استفاده از مدل نهایی برای پیش‌بینی بر روی داده‌های جدید.
نظارت و بازخورد (Monitoring & Feedback): نمایش حلقه‌ای که بازخورد عملکرد مدل را برای بهبود مستمر جمع‌آوری می‌کند.

مقاله های مرتبط:

1– مدلسازی سلسله‌مراتبی بیزی (Bayesian Hierarchical Modeling)

2- Data Wrangling (حاضرسازی داده) چیست؟

3- مدل‌ سازی مفهومی داده‌ها چیست؟

4-داشبورد سازی در نرم افزار تبلو و تجسم داده ها

download tableau desktop

امتیاز دهید