بوستینگ یک فرا الگوریتم ترکیبی در حوزه یادگیری ماشین است که برای کاهش عدم توازن و همچنین واریانسبه کار می‌رود. این روش در یادگیری با نظارت مورد استفاده قرار گرفته و از خانواده الگوریتم‌های یادگیری ماشین به شمار می‌رود. این تکنیک، روشی برای تبدیل سیستمهای یادگیری ضعیف به قوی بر اساس ترکیب نتایج طبقه بندهای مختلف است.
این الگوریتم، درختانِ تصمیمِ از بالا به پایین می‌سازد و با طرح این سوال که چه صفتی باید در ریشه‌ی درخت آزمایش شود آغاز می‌کند. برای پاسخ به این سوال، با استفاده از یکی از انواع آزمایش‌های آماری برای تعیین مناسب‌ترین صفت برای دسته‌بندی مثال‌های آموزشی، تصمیم براساس هر صفت نمونه را ارزیابی می‌کند.
الگوریتم C5.0 یک نوع درخت تصمیم گیری تک متغیره و بهبود یافته الگوریتم C4.5 می باشد که توسط محقق استرالیایی کوئین لن در سال ۱۹۹۳ طراحی شده است. الگوریتم درخت تصمیم گیری C5 یا C5.0 Decision Tree Algorithm مثل الگوریتم طبقه بند درخت تصمیم CART در ابتدا درختی کامل پر ایجاد می کند اما استراتژی هرس آن متفاوت می باشد. این الگوریتم کلاسه بندی را با تقسیم داده ها به زیر مجموعه هایی که شامل رکورد های همگن تر از والد خود می باشند انجام می دهد. در الگوریتم درخت تصمیم C5 تقسیم کردن نمونه ها براساس فیلدی که بیشترین بهره اطلاعات را شامل شود، صورت می گیرد. هر زیر نمونه بوسیله اولین انشعاب تعیین می گردد. سپس براساس فیلد جدیدی دوباره تقسیم بندی انجام می شود و این فرایند به تکرار خواهد شد تا زمانی که زیر نمونه ها امکان تقسیم شدن را نداشته باشند. در نتیجه انشعاب ها به پایین ترین سطح از نوآزموده می رسند و آن انشعاب هایی که ارز چندانی ندارند از مدل حذف می گردد.
در روش CHAID، که به «شناسایی اثرات متقابل خودکار کای ۲» (Chi-squared Automatic Interaction Detection) نیز شهرت دارد، در هر گام، متغیر پیشگویی که بیشترین میزان ارتباط با متغیر وابسته را دارد در مدل و درخت تصمیم به کار می‌رود. سطوح یا طبقه‌های هر متغیر پیشگو ممکن است در این حالت با یکدیگر ادغام شوند زیرا سطح معنی‌داری ممکن است در هر طبقه کمتر از مقدار مورد انتظار باشد. محاسبه آماره کای ۲ و محاسبه سطح معنی‌داری و رد فرض صفر در آزمون با سطح α ، باعث ایجاد گره جدید خواهد شد. به این ترتیب شاخه‌ها تولید شده و درخت تصمیم رشد می‌کند.
جنگل تصادفی (Random forest) یک الگوریتم یادگیری تحت نظارت است که از آن هم برای طبقه بندی و هم رگرسیون استفاده می شود.
اما به طور کلی برای مسائل طبقه بندی از آن استفاده می شود. همانطور که میدانیم یک جنگل از درختان ساخته شده است و درختان بیشتر به معنای جنگل مقاوم تر است. به طور مشابه، الگوریتم درخت تصادفی روی نمونه های داده، درختان تصمیم گیری می سازد و سپس از هر کدام از آنها پیش بینی می گیرد و در نهایت به واسطه رای گیری، بهترین راه حل را انتخاب می کند. این یک روش گروهی است که از یک درخت تصمیم گیری مجزا بهتر است، زیرا با میانگین گیری در نتیجه، over-fitting را کاهش می دهد.
یکی از پرکاربردترین الگوریتم‌های داده‌کاوی، الگوریتم درخت تصمیم است. در داده‌کاوی، درخت تصمیم یک مدل پیشبینی کننده است به طوری که می‌تواند برای هر دو مدل رگرسیون و طبقه‌ای مورد استفاده قرار گیرد. زمانی که درخت برای کارهای طبقه‌بندی استفاده میشود، به عنوان درخت طبقه‌بندی (Classification Tree) شناخته میشود و هنگامی که برای فعالیت‌های رگرسیونی به کار می‌رود درخت رگرسیون (Regression Decision Tree)نامیده میشود.
تیم برنامه نویسی ناب لرنینگ با داشتن یک بانک اطلاعاتی متشکل از 50.000 پروژه، در همه زمینه ها اماده دریافت سفارشات برنامه نویسی و درخواست های شما می باشد.
ناب لرنینگ |
بزرگترین بانک اطلاعاتی پروژه های دانشجویی