Monday, May 07, 2018

Perbedaan Bagging dan Boosting

Bagging vs Boosting

WHAT
  • Keduanya adalah teknik ensemble, yaitu sekumpulan pembelajar (classifier) lemah yang dikombinasikan menjadi pembelajar kuat. Kinerja dari ensemble biasanya lebih baik dibanding pembelajar tunggal

  • Multi classifier terdiri dari:
                 1. Ensemble : same learning algorithm
                 2. Hybrid methods : different learning algorithm

WHY
      1. Solve the main problem in learning which are noise, bias and variance
      2. Multi classifier meningkatkan akurasi, stability
      3. Kombinasi menurunkan variance terutama pada kasus unstable classifier

HOW
      >  Buat N learner dari N sub sample dengan cara random sampling with replacement dari data set original
      > By sampling with replacement some observations may be repeated in each new training data set

Bagging Boosting
any element has the same probability The observations are weighted and therefore some of them will take
part in the new sets more often
each model is built independently builds the new learner in a sequential way
Same probability Misclassified data increases its weights

Bagging vs Boosting Data Replacement

Bagging vs Boosting Independent Sequential

YANG TERBAIK
    • Sama-sama meningkatkan stability
    • Jika single classifier kinerjanya rendah, Boosting lebih bisa meningkatkan kinerja
    • Jika single classifier overfitting, Bagging lebih baik (menurunkan variance). Pada kasus ini, boosting malah menambah masalah variance.

Related Posts

Perbedaan Bagging dan Boosting
4/ 5
Oleh