"Learners can be divided into two major types: those whose re..." — Pedro Domingos

Quote
Catalog

Learners can be divided into two major types: those whose representation has a fixed size, like linear classifiers, and those whose representation can grow with the data, like decision trees.

— Pedro Domingos

A Few Useful Things to Know about Machine Learning

Machine Learning Types of Learners

More from Pedro Domingos

View all quotes

Quote
Catalog

Everything is connected, but not directly.

Quote
Catalog

Learning a Naïve Bayes classifier is just a matter of counting how many times each…

Quote
Catalog

You don’t need to understand the details of the message; it’s enough to get the gist of it…

Quote
Catalog

Someday there’ll be a robot in every house, doing the dishes, making the beds, even…

                                   MMWWWMMMMW&KKMWM  MMMMMM&K                             WWW     K MWWK                      KK&MWWWWWWKK &M&  &WWMM&&&M&K
                                 K&&&MWWWWWWMK&K&MW  WWWMM&KK                           WWWWK         WWW&                    KK&MWWWWWMK &WW&  WWWWWWWM&&K
                                  KKK&&MWWW&W        WWWMM&K                         MWWWWW            KWWWWM             &    K&&MMMK&&  KMW&  MWWWWWWM&KK
                                     K&&MWMMWMMWMK K&MWWM&K                  KWWWWWWWWWWWM                WWWWWW          &     KK&&&MM&        MKMWWWWMKK
                            KK    KKKK&&&MWWMMMWMWM&&MM&&K                  WWWWWWWWWWWM                    &M&MK                 K&M&MMMWW    &MMKMMMM&
                                 KKKKKK&KKWM&        KMKKK                &  WWWWWWWM&                        K&               KK&K&K         K&&MMK
                                 KKKK&&MM&K    &K     K M&K                M WWWWW&                                           KKKM&     KWWW&    &MK&M&K
                                  KK&&&&&&MM    KK    K&&K                 && MM                                              KKK&&MK             &MWW&K    K
                                    K&KK&&&&&        K KK                  W&K                               K   W             KKMM&&K           MMWM&&K
                                     KKK&M&&MMWM&&MMM&K                   &WM  K                                W&               KM&MMMM       &&WW&&&K
                                         &MMWWWWWWMMM&                      WW&                              KWW                  K&MWWWWWWWMMMMM&&&&
                                           &&MWMWMM&                          WW                            WM                      KMWWWWWMMMM&  K
                                   &            K                                WWM                    MWW                           K&MMMM&K
                                   M&K                                               WWWW&K       &WWWWK                     &W &K
                                MW &MMKK&&KK                                                KKK                             KWWWWMM               &WM
                                WWWWMWWMM&&&KK       &                                                                      WWWWWWMMMMK        &WWWM
                               WWWWWWWMMMWWWWWWWW&WWW                                                                       MWWWWWWW&WWWWMMMMWWWWWM
                               WWWWWWWWM&WWMWM&&WWWWW                                                                         WWWWWWWW&MWM&WWWWWWW
                               MWWWWWWWWW&&MKMWWWWWWW                                                                         WWWWWWWWW&MWWWWWWWMW
                                 WWWWWWWWWWWWWWWWWWWW                                                                         KWWWWWWWWWWWWWWWWWWW
                                  WWWWWWWWW WWWWWWWWW&                                                                        WWWWWWWW   &WWWWWWWWK
                                  WWWWWWW    WWWWWWWWW                                                                       KWWWWWWW     WWWWWWWWK
                                 MWWWWWW      WWWWWWWW                                                                      KWWWWWWW       WWWWWWW
                                 K&&&&&       KKK&K                                                                          WWWWWWM      W&WWWWWK
                                                                                                                           WWWWWWWW W     WWWWWWW
                     W      KK W  M  K KM    W &  K&K  M   W  WW W M                                                       WWWWWWW&W      WWWWW
                     W  W W &W W  WWWW W& W KWW&  W WK M    W&W WW W                                                       WWWWWWWW        WMW W
                                                                      W                                                    WWWWWWW         WWWW&
                                                                                                                           WWWWWWW         WWWW
          &  &   K K  K   W M     &   W  MK     KK      KM    W WK  K   KK W K  K&                                         WWWWWW          WWWK
         W  W W W M  W WW W W  W WKM    MM W MM W W&MM  W  W  W WW WM   &W W MW&K W                                        &WWWWW          WWW
          &  &        K  KK                     & K       K         K   &K K K  &&                                          WWWWW          WWK
                                                                                                                            WWWWK          WW
                                 WK            W                      MM                                                   MWWWW           WK
               W   &W W &MM W&WK&&K M   W MW W W W W WW&KW&WKW WW WW  MKW WW                                               MWWWW           W
                KK  M M         M&   KK K  & M M   K   W        K  W   KM KW                                               MWWWW           K

  ..........:  :.. ,                                                   .   ,    : :  :,                 .  ,,,,.   .   :   ,                                            :::::::, ,,,
 .  ........ .,  : :.    ,                                             ,.  .      ,.                ,          .,  ,                                                    ::,::::, :,,
   ............ :  :.    .   ,                                          :  ,,.                                     .   ,                                                 :::,,,, ,,,
   .. ........., :, :     :                                                                            :             .:,                                          .     .,:::::: .,,
..  ..,,.,,::::   . .    ,                                         .     ,                  .  .     .             ,  ,, :.                                  .        ..,:  :::, ::,
...,..,::::::     ,, .   ::                                        . , .   .                           :         .    . :                                  .   ..     .. .  : :: ::,
,,,,:,.,:::       :,.   .                          :                .:                  : ::                .    :      :                                       ..,.. . ...    : ::,
::::::::,,:     ,        : ,  .                                   .:    ,         ,   , :::::     : :     .          ,  .   ,                                    .:   :, ,.    :
          ::    :   :     :     ,                            :      ,:                 :::::::,:        ::                                                            :. ::
             :  , :  ,.                                           , .,               :::::::,,:::: :     ::        .          ,                                 ,,     . .,
                 :  ,  ,         .                                  . , ,.       :  ,,:  :::,::::: : :    ,          .         ,                                :,     . .
                :.  .                                                  .   :         ,:::::,:::::::: :,.  ,       .     .                                       :.    :
                :  ....  .                            .                :     .               .....    ,     : ,.         .                           .          ..    ,..
                  , :, .                              :  :            . :       ,.                              :   .,    :.                       :    :,.      .,, , ..
              .  ,  .    ,,    ,                                       ,          ::    .                           ..                                   :     .    , :.
              ....:  ,    , ..                                        . :  ::     :  .                ,  :      :   .:   :                             :          ,.. ,   :
                 ,  ,:    ,                           ..        .     .      ,       ,                  :,  .  .      ,:,                            ,               .     .,
         ::     :      ,:  ..                          .            ...       :      :                   ,       ,         :                        .       .  :.          ,.
              .   .        :                         , :             ..,,  .  .,     :                 :.,                 :                        :        .,     .., .   ..
      ,..,    ,. ,       ,:                            :             .   .:    :                        ,     .                                                   .,:      :..
          :.:              .                            ::.   ..,  .    .:     ,:                             .  ,.                                           .        .:    ,
          ,:                                           . , .     :,.    .,      :.  :          :        :........:.,: .. .,             :          .   ,    ..   ..  .,:
         :.: ,.                          ,             :             .:  .  ::  ,                      ,,.,   :  :, .   ,               :          :    . .  .: :    ,:     :,.
   :      ,   .,,               .                     ,                  .       ,           : ::       ,,:      .:                                  .             ,  ..,,     ,
   :      ,   .                    :          :    ::                    : .     :,:    ,   ::: ,       :., .     .      :.                       : ::.          , :. : :.,.,::.
   ,      :,,.. .                                                        ,,  , ..,      :   : : .      :: ,::,        : ,:                       .:  :,.  .,  ..,:,   :.      ,.
:   ,       :.                .                                       .  , :::. .   :, :    : : .::    ::,,,,,    .,   ..                :       :  ,:,,: :  ,,  ,   .,
    ,  ,:,,. .                        .   .      .   ,. .                 . ,:,, .,,,        :::,,:   :,, ,:      .     :          ,             : ::::.     ..      .. :    :  :::
  : ,,                      ,  ,                  .       ,                          :,:     ::, .:   :,,,..    .      .:                       , : ::   ,      :    ., ::  :: :,,::
: : ::      .           .                          :                 , .                    ::::: ,    ,::.: :: .  .. .:                         ::::,,     .,: ..   :  :  ,, :,
:: ::.:                                          ,                                          ::,::,,    :::,.    : ...::. ,                     ,   :,:, . : ::: .     ,,   .:,:
:::::,:     :    ,      :            ,      :    :                .       , :       .       ,::::.:    : ::.   :: :::                     .     :  :  :: :::,  ,,:   .:           ,
:::::,                          :                                                    .  :   :,,.,.       ::,,    ::::::, :                .   .::  ::::    ::: , ::,.:  : :   :.  ,
::,:,:                  ,.    ,                   .           .               .   ,..,:      ::..           .    :::::,,,:                     :  :::          ... :     ,     ::
: ,,,. : :::                                                                   .  ,:       ,:   ::          .:   :::::,:                     .::::,:     :    ,:     : : .  ,,::  ::
:: :.  :  ::                   ,                                               ,,::::,::    ,, :.:         ::.     ::,:::                    :::,,:        ,,          ,  .::::::

             **               *                                             ~~~~ ~ ~~          *                }*                                          <          ~
               }}              <                                         }  ~~~~~~              }         }            ~ }                                  }
                 *        *}                   }}  <}         }                                       *          *         }                                *
                             }                                           }* <                           }        *<     *                 }  *
               }}<        ~                                                                  <~    <<            <*     <                                  *~             <<
             ~<}*~         **                   } }          ~      ~ <  *                <<~~~~<<<~~~<            *   <   }                              }               ~~ ~
           ~~~*~*~       <~                 }<}     }}        <       }<            *    ~  ~~~~~~~~~~~~~    <         ~              <}       *          }<~              *<~~
           ~~<<<  *~~     <    <                            < }      ~*   <      }     ~     ~~~~~ ~ ~~~~<      *                        }}  *}                    <<<     ~<~<  <~~
~~~~~<<<<~  ~<~*  <*       ~                    } }}        <     *   < <            ~~         ~~~~~~~~  ~        * *       ~                 }         < }       ~*}     ~<<<~ <~<
<~~<<<<***<<~ << * *              }                       *           ~*~          ~~             ~ ~~~~~         ~  **                                           <*}      *<**~ *<*
***************~* ~   }            *                                   ~          ~~   ~~         ~ ~ ~~~~  }     ~   }<                              <           ~} }*   }<***< **<
****}}}}}*****}*  *   }}         <  }                 }~                *~*  }                      ~         < *<    <}      ~ *                   }             ~}}    }}*}}}* *<<
***}}}}}}}****** ~<    }*                           }<                  <~*}<                                <  ~<~    ~<        }                }<              ~*}*   } *}}}* }**
}}}}}}}}}***}**}*<      *}                         }*<    <<             * }~~<~   }                     ~<**}~  <*<    ~~  *                    *< }                 *     *~}* ***
}}}}}}}}}}}}}< <}          <~~~                   }}*} *}*              * * }*<<<<        *        *<~<* }} }}}}}       <                       }     <              *  }  *}}<* ***
} }}}}} } }}}}     **      ~                           ~               ~ }}  ****< <  <~<  }**}*}}}  } *} ~*   }      *** ~<                         }}                ~*} **}** ***
    }}}  }    }}~          ~                                           ~}  *~ ~***<*  ~~<    }}        *      *          *}*                        ~                 ~   *  *}} }}}
    }}  ~  *   }         ~<   <                       <                ~}}}}*~ *****  <<*              }~ ~}  }<<       ~<<                        <                  ~}  *  ~}}  }}
     *}}~**}}}           <~ }**                       *                  <*     ****  *~*   }} *    }}}   < }*}<         ~*                        ~                     }    }*  }}
    }*    }       *        ~<                         * ~                  }  } }**} ~*~*   *}}*}}}}}}<<                   <                       *<                *    *   }}  }}
} }*}*<*<<     }<~          **                         <                  ~<} }  <}} ~***   <*}<}}}*}**~                                           ***                    ~   * ~ }}
*}}*}*<}*~    *~                 *          <                             * ~~<*     *}<*  *~~* *}****<<                   }         }~*            ~~*                 ~   *}}
<*}<}*<<*   <                 }*          }}                           ~~         }     }  *<~*<**<*~<<        <~  ~ <<} <}<                      < ~          ~         }}~   }*
<** ****<                                 *~                              <*<<}*< }  }}}*  *~ <  <<<*<<<   ~       *}*} <~~}          *< <         ~~               *<             }
~<* <****<   <                   *~ ~~~~     }  ~<~  <        *    <        <  }*   }}}*   *   * ~<**<<~   ~       ***}*<            *  <          ~              ~    *        }}*}
~~< ~<<<~~       <~        }    }~          }   <*           }                ~    ***<<   < ~ * ~~<<~~          ~<}*< <            }<~}<          ~~                ~  <}}  <  **~*
 ~<< ~~<<*~~                    <<              << <           *          *      ~~*  ~ }  ~ ~ <   ~~~~               ~  ~          }}} } *       ~~     < *}       <  *       <<~~*
~~<< ~<                 <    }   <} }       ~*  } } *  *      }                 <    ~<*   ~~      ~~~      <<* *<       ~          <**}          ~     ~<}}<      *}  * <*~* <<   ~
~~ ~  <                   ~     *<****   ~      *< *          * ~                       *  <~   ~  ~<~                   <          <***  *      ~ ~               ~   ~  <*  ~
 ~ ~  <              } }   <       }*                          *  <                  <~~}  ~       ~<<~     ~  ~         ~        ~<*****}*     ~              ~   <} }  <*  ~  ~**}
  ~                        *        <}    < }         }  }     <          }          **}   ~       ~<~~     ~~<< <                <  }***}<     ~~~      ~ ~      ~}<}  **     <*}}}
                   }*}       *      *   }      }            }<       * *             }}*<  <       ~<<< ~   ~~~  ~   ~            }*   *}}     ~ ~~ ~~  ~    <<   **~  **  ~~~***<
      ~                          ~***           **                                         <      <~~<<<<    ~~~~                ~*}*   **       ~~    ~~~~     ~     ~~   ~~<     ~
      ~<<~<<~    ~  < ~            <<}} *  }}<} }  <  } }         ~ *     ~ *  **<     *}  <~     <~<~<<<~~~ ~~~~                *}**}}  }    ~ ~~   ~~~~~~~<       <<~~  ~~     <*}
 ~    ~ ~   ~   <                  ~        ~ <     }         <  <          }       ~~<<*    <<~  <~~~~~<~~~  ~~~       ~~      * }*}  *            ~~~~~ ~<    ~<<*} ~         ~~
  ~   < ~~  <               }      ~*     <          *                                  <  <  ~   ~~~~~~<~~   ~~~~~      ~          *  }* ~        ~~~~~~~~  <<~~~<<*~~          ~~~

                             j    V                UU        Uo          jo              V   U  oV V                        jV            U   VU           V
                                o                  UV        Uo           j            U             U           j         jVU           U    UU           V
                              jVUU           UV  Vj         UV           Vj         j      U                 Uj             oVU         UV    VU           o
                j          VU joVUUUU             U        UVV                                           U      o          joVVU        Vj oo jj          Uj
                              joVU                        UUVj                          j               jojV               jVVUUUU         UVUU         UUo
                             UVVU            Uoj j jV     UUV               U         o                   oVoV  U V         UUU      VjjjooUUU      UUUUUV
                               VU          V     Uo    U   UV             V o      V                          jVU Uj        VU     Uoj       UV j       VV
                 j              VU          VoVV  UVjV    UU V         o     o  U                           Vo   joV         V       oVUj  oo  jjU      Uo
                 j               oUU         Ujj j  V U  UUj           j  o   oo                            j jVU j           V       VjVVVUUVo U       o   o
                                   oU                  UUU                   UU                             jUjo               VU       UojjjoU        o             jj
                   j                joUUU             oVo                  j   U                                j               oV                   V              j
                   j              Uj jooVoV         Uj                          V                          U                     joV            UU U                 j
                                 oV VooooooooVVU Uoj                            V   o                  V   V                 joUj jjoV        ooVo                        o
                                 oU   UUVoooooooojj                       o         U      VooooVU      j                      U  jjooooVVVojjooj    j                   jjj
                                  U         Vooooj    j                  j j               U   UUVj     j  j                       UoooooooVVooj j   V jj                jo
 j     j j                     o              UVVoVUU j                                            jj       ooj                        VoooooVU     o
jjjj   jj jjjj                                       V                   oj                jj  jjjjjjjj      j                                     o                   joj
jjjj  jj    jjo                                                                            ojjojjjoojjj     Vo               V                    U                     oo       j
jjjjj                                                                                      o  j jjjj       j                                      o                              j
jojo       joj                  j                    j                      jj             o                                                      V                   jooo       j
 j           oo                  j         o          j                      j             j                               o          U                                  j     j j
            jj                           V            V                    j      jj                                                                                     jVj   joooo
                                        j    V                                     jjjjj                                            j oj  V                            jj        jjj
                                       V           UUV                             jj                                  j    U       V                                           jjj
                     j                                     jo    j           jj                                                    U   j
                        VUV   o    jU j   VU  o      oU   V o     V                                                                            Uj                          jj
                         V j          V  o V          o o jo      V                                                                j   j      U                   jj
                     oVj jj o  Uj  j j jj  o   o   U       oo    j VVo                  j                      j                        jo
                                                                           j                                                            jo                          j
         j j  U U o      U    UVjU   o jV  U VU   V VV    VUoj     V          U                                                  o
           U   U o UU o      VV U     oU       U          o UV    o  V V    o    U      j                                          jj
         o o  U V o    j    V UUoooV  VU o o UV     UU   U j  U oo U          U                                                     jjj
                                                                                                                           j         jjo
                V  o      o  j  o        j       o  j     j  j jj       o                                                       V      jj
                 UV  o o   V         Voo j      V j                 j    U                                                       o   oU jj
               o  jU   UjVVo Uo   V      U      oj  U    jUojj U  U   V                                                          jjj oU  j

              WWWW&MKWWW&          WW   &W        KWWWMMW&WWWM
             &&MWWWMKWW&       WWWWM      WWW      KMW&  KWWWK
             MMMMK K  M&      KWWK                &MM  MK MM&
              &MWMK  &M       W              &     MW&    WW&
                 MWWW          M           K        KWWWWM&
             KMK                         K        W&
             WWWWWM&W                             WWWM&KMWW
             WWWWWWWW                             KWWWWWWWK
             MWWW WWWW                            WWWM WWWW
              M&   &K                            KWWW  WWW
        & &W& M&K&W WK  MWW                      WWWM  WWM
                                                 WWW   KW
     W &&KK &M  K M M    K K &MKW                KWW   KW
             &              K                    WWK   &
                                                  W
       W&M&WKW W W&M W MM&&WW                   MWW KWWKM W
             M
             W                                    W
                               K                                     K
                                 K                                     K



                &WWWW                               WWWWWK
               WWWWWWW                             WWWWWWW
               MMWWWWWW                           &M&WWWWWM
              KKKKWWWKK&                              WWK  &
              K  KWWK                             WMMMWMMK  K
             &WWWWMWMWWWM                        WWWW&WKWWWWM

 ,,.   ,    :                 .                ,,
  .,:, ..                                      :                   :
 ::                               :      ,     .                .:
        . ,               ::      :            ,                      ,
        :                   ::   :,:.,,:,.                         .
       .,             ::    ,  :              ,.::          ,   ,:    :
       ::                         :       ,                 ,
         ,                  :             :     ,                ,  .
           ,          ,,,,,        ::       ,:,  .         :,     ,
     .,                      :     ,,        :        .    ,   , :
     ,                       :: :  ,      :                    ,:    :
            :           ,       .  :      ,  .            :  ::
                                   :           :                    :
         :                 ,       :  :                        .   , :
                                      :               :
                    ,          :      ,
              .                     .                ,      .
 , :     ::,      :    ::     .  ,    ..     : ::      ::  :   ::   . :

...,,,:.,,, ,,..... .....,,,,,..     ,,.:,,,.,: :,.........,,.,,:,,..
.....,,,.,  ,.. .,,,. ..,,.,:::,.    ,.,,..,,.: .  .,   ,.. .,,.,:,:,,
......,,... ,.     :   ,..,,:::::    ,.,,.:,,.. .     , :    ,.,.,,,,, :
,.,...,,,.           :   :,:,:::, ,  ,......,..   . ,          ,,,,::: ,
..,,,,.,...  :        .    :::,:: ,  .........,  ,        ,     :,,,,.
...,,..,:   ::              :,:,, ,  .......                     ::,:. ,
 ......:                :::  ,::, . . ..,..,                 ,., :,,.. ,
   ..., ,,::                :::,, ,  ,  ,..:     .              .:,:,, ,
..   ...                      : , ,  ...  .,    :                 ::,: ,
,,,,   ::                :   .: : :  :::,                          ::: :

     ~<                           <  *<*     *   }                 <~~ ~
      }   *                  *           }   *  *             <     << ~
~  ~<*}~  <*               ~*}      ~***<  }  ~  }                  <* <
<<**<<*}                     }     <<~<<*<    ~               ~  }  <} }
}} }}}<} }   <        <                      ~ }   }            ~ }   ~}
     }}  ~~         *<        } }          }<<               ~    ~*   }
      <   ~                 < <**   <    *  }  <*                 ~ <}<}
  }~      *<                 }*<}~* *    <  <                     *  ~<
 }**~ <                      ~}*<}   }}}}~                           *
**}<                          <}~    *<**~~   } ~                 <<  }
<<*}<              *       *   ~ }*  <~<*~ < ~*~     }*    <~<*  <~<< <*
<<~       *   * }  }<  } }        *  *~~*~ ~*        }     <     }~<*~~*
<<                                   <~~*<~<*<~     }     <<~<<<~}<* <}*
<~<    *   }   *    } }   *   <   <  * <**<~*<<<         ~****< ~<* ~ ~*
<~<*}      *  }* *  ~<*       * <<<  * ****~**<    <*} *      <**}< ~<<*
<~<*}                 *         **}~ } ****<~**             * }<<< ~****
*<<*}     }*     *             ~*}}~ *~*****<**  * }~         }**< <*<*}
~   ~~~~~     *    ~~~~  ~~~~     ~  ~  ~~~~~ ~  * }  ~  ~~ ~~~        <
                              <
                                                                     <
                                                     <*<               *
              ~}} } <*~                          ~  *<    }}~
            < *    *  } *                       *}   }  * } *}~
           <}  *       }*}~                    }*          }*~ *       ~
         ~}}  <        ~ * *                ~* *}<         } <  <
<       <} *}              *~        }      ~~~*}          }    *
~*~    ~     <          <             <<                    <
  ~*~       }         }*     ~ ~        **                       ~
    ~*<     }                  ~         ~**~                *    ~

             V               j            o                   j
           UV           V     o                  UU    UV
            V     o jU  j                   Uo       jV  V   o
             o     UU  V    j  U           oo     j   UVoU        j
  j           jVU    V        V o         o U              o     j  jj
jjjjj           UVoo         j   UUVVVUUU o         ooVUojjo        oj
jjjjjj      U        U       o       jjjj  j     V         j       o
oo  jj      U        j               ojoj  j                       o   j
j    o           V                j                                jj oo
             U    V  o           jo            j          j            j
         V   o        oU
             j j              j                       j  j
   oU V    U  oU o U VjUU U j     j                  oj
      o o o o o ojVU o Ujo   V                      jVV o
      ojjjj jU  o jj   o jV oV                   U
      V       U              U                           U
               V                                  U
               ojj                                  oo
                                o                                   U
                                V j                                   U
                                  VU
                 j                                jj     j
             j         j                              jV   j
                     V                             U          j
                      U o o                   j   V       U j jo
          j  jU        o                         j
                                                  ojoU   VU
               oV    o  U                        j        oo
                                                o