×

الگوریتم طبقه بندی درخت تصمیم ID3

این الگوریتم، درختانِ تصمیمِ از بالا به پایین می‌سازد و با طرح این سوال که چه صفتی باید در ریشه‌ی درخت آزمایش شود آغاز می‌کند. برای پاسخ به این سوال، با استفاده از یکی از انواع آزمایش‌های آماری برای تعیین مناسب‌ترین صفت برای دسته‌بندی مثال‌های آموزشی، تصمیم براساس هر صفت نمونه را ارزیابی می‌کند.

الگوریتم طبقه بندی درخت تصمیم C5

الگوریتم C5.0 یک نوع درخت تصمیم گیری تک متغیره و بهبود یافته الگوریتم C4.5 می باشد که توسط محقق استرالیایی کوئین لن در سال ۱۹۹۳ طراحی شده است. الگوریتم درخت تصمیم گیری C5 یا C5.0 Decision Tree Algorithm مثل الگوریتم طبقه بند درخت تصمیم CART در ابتدا درختی کامل پر ایجاد می کند اما استراتژی هرس آن متفاوت می باشد. این الگوریتم کلاسه بندی را با تقسیم داده ها به زیر مجموعه هایی که شامل رکورد های همگن تر از والد خود می باشند انجام می دهد. در الگوریتم درخت تصمیم C5 تقسیم کردن نمونه ها براساس فیلدی که بیشترین بهره اطلاعات را شامل شود، صورت می گیرد. هر زیر نمونه بوسیله اولین انشعاب تعیین می گردد. سپس براساس فیلد جدیدی دوباره تقسیم بندی انجام می شود و این فرایند به تکرار خواهد شد تا زمانی که زیر نمونه ها امکان تقسیم شدن را نداشته باشند. در نتیجه انشعاب ها به پایین ترین سطح از نوآزموده می رسند و آن انشعاب هایی که ارز چندانی ندارند از مدل حذف می گردد.

الگوریتم طبقه بندی درخت تصمیم CHAID

در روش CHAID، که به «شناسایی اثرات متقابل خودکار کای ۲» (Chi-squared Automatic Interaction Detection) نیز شهرت دارد، در هر گام، متغیر پیشگویی که بیشترین میزان ارتباط با متغیر وابسته را دارد در مدل و درخت تصمیم به کار می‌رود. سطوح یا طبقه‌های هر متغیر پیشگو ممکن است در این حالت با یکدیگر ادغام شوند زیرا سطح معنی‌داری ممکن است در هر طبقه کمتر از مقدار مورد انتظار باشد. محاسبه آماره کای ۲ و محاسبه سطح معنی‌داری و رد فرض صفر در آزمون با سطح α ، باعث ایجاد گره جدید خواهد شد. به این ترتیب شاخه‌ها تولید شده و درخت تصمیم رشد می‌کند.

0