بوستینگ یک فرا الگوریتم ترکیبی در حوزه یادگیری ماشین است که برای کاهش عدم توازن و همچنین واریانسبه کار میرود. این روش در یادگیری با نظارت مورد استفاده قرار گرفته و از خانواده الگوریتمهای یادگیری ماشین به شمار میرود. این تکنیک، روشی برای تبدیل سیستمهای یادگیری ضعیف به قوی بر اساس ترکیب نتایج طبقه بندهای مختلف است.
تقویت الگوریتمهای
هرچند که بوستینگ در قالب الگوریتک قرار ندارد ولی اکثر الگوریتمهایی که بر پایه بوستینگ طراحی شدهاند، یادگیرندههای ضعیف را در به صورت تکرار شونده آموزش داده و به مجموعه قبلی اضافه مینماید تا در نهایت به یک طبقه بند قوی درست یابد. یادگیرندههای ضعیف در حین اضافه شدن به مجموعه، وزن دهی میشوند که این وزن دهی معمولاً بر اساس میزان دقت در طبقهبندی نمونه هاست. پس از اضافه شدن هر طبقه بند، نمونههای موجود (دادهها) نیز وزن دهی میگردند (وزنشان اصلاح میگردد). وزن دهی نمونهها به صورتی است که در هر مرحله، وزن نمونههایی که به صورت صحیح طبقهبندی میشوند کاهش یافته و وزن نمونههایی که به درستی طبقهبندی نشدهاند، بیشتر میشود تا در مراحل بعدی (توسط یادگیرندههای جدید) بیشتر مورد توجه بوده و با دقت بیشتری طبقهبندی گردند؛ بنابراین تمرکز یادگیرندههای ضعیف جدید، بیشتر بر روی دادههای خواهد بود که سیستم در مراحل قبلی قادر به طبقهبندی صحیح آنها نبوده است.
تاکنون الگوریتمهای بوستینگ زیادی به وجود آمدهاند ولی نسخه اصلی این الگوریتمها توسط Robert Schapire و Yoav Freund ارائه شده است که Adaptive نبودهو امکان استفاده کامل از مزایای یادگیرندههای ضعیف را ندارد. بعدها این دو نفر الگوریتم AdaBoost که یک الگوریتم بوستینگ سازگار (Adaptive) بود را ارائه نموده و جایزه معتبر گودل را برنده شدند.
آدابوست مخفف بوستینگ تطبیقی بوده و یک الگوریتم یادگیری ماشین است که توسط یاو فروند و رابرت شاپیر ابداع شد. در واقع آدابوست یک متا الگوریتم است که بمظور ارتقاء عملکرد، و رفع مشکل ردههای نامتوزان همراه دیگر الگوریتمهای یادگیری استفاده میشود. در این الگوریتم، طبقه بند هر مرحله جدید به نفع نمونههای غلط طبقهبندی شده در مراحل قبل تنظیم میگردد. آدابوست نسبت به دادههای نویزی و پرت حساس است؛ ولی نسبت به مشکل بیش برازش از بیشتر الگوریتمهای یادگیری برتری دارد. طبقه بند پایه که در اینجا استفاده میشود فقط کافیست از طبقه بند نصادفی(۵۰٪) بهتر باشد و به این ترتیب بهبود عملکرد الگوریتم با تکرارهای بیشتر بهبود مییابد. حتی طبقه بندهای با خطای بالاتر از تصادفی با گرفتن ضریب منفی عملکرد کلی را بهبود میبخشند. در الگوریتم آدابوست در هر دور t = 1 , … , T {\displaystyle t=1,\ldots ,T} یک طبقه بند ضعیف اضافه میشود. در هر فراخوانی بر اساس اهمیت نمونهها، وزنها D t {\displaystyle D_{t)) بروز میشود. در هر دور وزن نمونههای غلط طبقهبندی شده افزایش و وزن نمونههای درست طبقهبندی شده کاهش داده میشود؛ بنابراین طبقه بند جدید تمرکز بر نمونههایی که سخت تر یادگرفته میشوند، خواهند داشت.