Website

Rules of Machine Learning

: Best Practices for ML Engineeringby Martin Zinkevich(1 total)

If you think that something might be a concern in the future, it is better to get historical data now.

— Martin Zinkevich, martin.zinkevich.org

Machine Learning Metadata Metadata Metadata is the Answer Planning

                                   MMWWWMMMMW&KKMWM  MMMMMM&K                             WWW     K MWWK                      KK&MWWWWWWKK &M&  &WWMM&&&M&K
                                 K&&&MWWWWWWMK&K&MW  WWWMM&KK                           WWWWK         WWW&                    KK&MWWWWWMK &WW&  WWWWWWWM&&K
                                  KKK&&MWWW&W        WWWMM&K                         MWWWWW            KWWWWM             &    K&&MMMK&&  KMW&  MWWWWWWM&KK
                                     K&&MWMMWMMWMK K&MWWM&K                  KWWWWWWWWWWWM                WWWWWW          &     KK&&&MM&        MKMWWWWMKK
                            KK    KKKK&&&MWWMMMWMWM&&MM&&K                  WWWWWWWWWWWM                    &M&MK                 K&M&MMMWW    &MMKMMMM&
                                 KKKKKK&KKWM&        KMKKK                &  WWWWWWWM&                        K&               KK&K&K         K&&MMK
                                 KKKK&&MM&K    &K     K M&K                M WWWWW&                                           KKKM&     KWWW&    &MK&M&K
                                  KK&&&&&&MM    KK    K&&K                 && MM                                              KKK&&MK             &MWW&K    K
                                    K&KK&&&&&        K KK                  W&K                               K   W             KKMM&&K           MMWM&&K
                                     KKK&M&&MMWM&&MMM&K                   &WM  K                                W&               KM&MMMM       &&WW&&&K
                                         &MMWWWWWWMMM&                      WW&                              KWW                  K&MWWWWWWWMMMMM&&&&
                                           &&MWMWMM&                          WW                            WM                      KMWWWWWMMMM&  K
                                   &            K                                WWM                    MWW                           K&MMMM&K
                                   M&K                                               WWWW&K       &WWWWK                     &W &K
                                MW &MMKK&&KK                                                KKK                             KWWWWMM               &WM
                                WWWWMWWMM&&&KK       &                                                                      WWWWWWMMMMK        &WWWM
                               WWWWWWWMMMWWWWWWWW&WWW                                                                       MWWWWWWW&WWWWMMMMWWWWWM
                               WWWWWWWWM&WWMWM&&WWWWW                                                                         WWWWWWWW&MWM&WWWWWWW
                               MWWWWWWWWW&&MKMWWWWWWW                                                                         WWWWWWWWW&MWWWWWWWMW
                                 WWWWWWWWWWWWWWWWWWWW                                                                         KWWWWWWWWWWWWWWWWWWW
                                  WWWWWWWWW WWWWWWWWW&                                                                        WWWWWWWW   &WWWWWWWWK
                                  WWWWWWW    WWWWWWWWW                                                                       KWWWWWWW     WWWWWWWWK
                                 MWWWWWW      WWWWWWWW                                                                      KWWWWWWW       WWWWWWW
                                 K&&&&&       KKK&K                                                                          WWWWWWM      W&WWWWWK
                                                                                                                           WWWWWWWW W     WWWWWWW
                     W      KK W  M  K KM    W &  K&K  M   W  WW W M                                                       WWWWWWW&W      WWWWW
                     W  W W &W W  WWWW W& W KWW&  W WK M    W&W WW W                                                       WWWWWWWW        WMW W
                                                                      W                                                    WWWWWWW         WWWW&
                                                                                                                           WWWWWWW         WWWW
          &  &   K K  K   W M     &   W  MK     KK      KM    W WK  K   KK W K  K&                                         WWWWWW          WWWK
         W  W W W M  W WW W W  W WKM    MM W MM W W&MM  W  W  W WW WM   &W W MW&K W                                        &WWWWW          WWW
          &  &        K  KK                     & K       K         K   &K K K  &&                                          WWWWW          WWK
                                                                                                                            WWWWK          WW
                                 WK            W                      MM                                                   MWWWW           WK
               W   &W W &MM W&WK&&K M   W MW W W W W WW&KW&WKW WW WW  MKW WW                                               MWWWW           W
                KK  M M         M&   KK K  & M M   K   W        K  W   KM KW                                               MWWWW           K

  ..........:  :.. ,                                                   .   ,    : :  :,                 .  ,,,,.   .   :   ,                                            :::::::, ,,,
 .  ........ .,  : :.    ,                                             ,.  .      ,.                ,          .,  ,                                                    ::,::::, :,,
   ............ :  :.    .   ,                                          :  ,,.                                     .   ,                                                 :::,,,, ,,,
   .. ........., :, :     :                                                                            :             .:,                                          .     .,:::::: .,,
..  ..,,.,,::::   . .    ,                                         .     ,                  .  .     .             ,  ,, :.                                  .        ..,:  :::, ::,
...,..,::::::     ,, .   ::                                        . , .   .                           :         .    . :                                  .   ..     .. .  : :: ::,
,,,,:,.,:::       :,.   .                          :                .:                  : ::                .    :      :                                       ..,.. . ...    : ::,
::::::::,,:     ,        : ,  .                                   .:    ,         ,   , :::::     : :     .          ,  .   ,                                    .:   :, ,.    :
          ::    :   :     :     ,                            :      ,:                 :::::::,:        ::                                                            :. ::
             :  , :  ,.                                           , .,               :::::::,,:::: :     ::        .          ,                                 ,,     . .,
                 :  ,  ,         .                                  . , ,.       :  ,,:  :::,::::: : :    ,          .         ,                                :,     . .
                :.  .                                                  .   :         ,:::::,:::::::: :,.  ,       .     .                                       :.    :
                :  ....  .                            .                :     .               .....    ,     : ,.         .                           .          ..    ,..
                  , :, .                              :  :            . :       ,.                              :   .,    :.                       :    :,.      .,, , ..
              .  ,  .    ,,    ,                                       ,          ::    .                           ..                                   :     .    , :.
              ....:  ,    , ..                                        . :  ::     :  .                ,  :      :   .:   :                             :          ,.. ,   :
                 ,  ,:    ,                           ..        .     .      ,       ,                  :,  .  .      ,:,                            ,               .     .,
         ::     :      ,:  ..                          .            ...       :      :                   ,       ,         :                        .       .  :.          ,.
              .   .        :                         , :             ..,,  .  .,     :                 :.,                 :                        :        .,     .., .   ..
      ,..,    ,. ,       ,:                            :             .   .:    :                        ,     .                                                   .,:      :..
          :.:              .                            ::.   ..,  .    .:     ,:                             .  ,.                                           .        .:    ,
          ,:                                           . , .     :,.    .,      :.  :          :        :........:.,: .. .,             :          .   ,    ..   ..  .,:
         :.: ,.                          ,             :             .:  .  ::  ,                      ,,.,   :  :, .   ,               :          :    . .  .: :    ,:     :,.
   :      ,   .,,               .                     ,                  .       ,           : ::       ,,:      .:                                  .             ,  ..,,     ,
   :      ,   .                    :          :    ::                    : .     :,:    ,   ::: ,       :., .     .      :.                       : ::.          , :. : :.,.,::.
   ,      :,,.. .                                                        ,,  , ..,      :   : : .      :: ,::,        : ,:                       .:  :,.  .,  ..,:,   :.      ,.
:   ,       :.                .                                       .  , :::. .   :, :    : : .::    ::,,,,,    .,   ..                :       :  ,:,,: :  ,,  ,   .,
    ,  ,:,,. .                        .   .      .   ,. .                 . ,:,, .,,,        :::,,:   :,, ,:      .     :          ,             : ::::.     ..      .. :    :  :::
  : ,,                      ,  ,                  .       ,                          :,:     ::, .:   :,,,..    .      .:                       , : ::   ,      :    ., ::  :: :,,::
: : ::      .           .                          :                 , .                    ::::: ,    ,::.: :: .  .. .:                         ::::,,     .,: ..   :  :  ,, :,
:: ::.:                                          ,                                          ::,::,,    :::,.    : ...::. ,                     ,   :,:, . : ::: .     ,,   .:,:
:::::,:     :    ,      :            ,      :    :                .       , :       .       ,::::.:    : ::.   :: :::                     .     :  :  :: :::,  ,,:   .:           ,
:::::,                          :                                                    .  :   :,,.,.       ::,,    ::::::, :                .   .::  ::::    ::: , ::,.:  : :   :.  ,
::,:,:                  ,.    ,                   .           .               .   ,..,:      ::..           .    :::::,,,:                     :  :::          ... :     ,     ::
: ,,,. : :::                                                                   .  ,:       ,:   ::          .:   :::::,:                     .::::,:     :    ,:     : : .  ,,::  ::
:: :.  :  ::                   ,                                               ,,::::,::    ,, :.:         ::.     ::,:::                    :::,,:        ,,          ,  .::::::

             **               *                                             ~~~~ ~ ~~          *                }*                                          <          ~
               }}              <                                         }  ~~~~~~              }         }            ~ }                                  }
                 *        *}                   }}  <}         }                                       *          *         }                                *
                             }                                           }* <                           }        *<     *                 }  *
               }}<        ~                                                                  <~    <<            <*     <                                  *~             <<
             ~<}*~         **                   } }          ~      ~ <  *                <<~~~~<<<~~~<            *   <   }                              }               ~~ ~
           ~~~*~*~       <~                 }<}     }}        <       }<            *    ~  ~~~~~~~~~~~~~    <         ~              <}       *          }<~              *<~~
           ~~<<<  *~~     <    <                            < }      ~*   <      }     ~     ~~~~~ ~ ~~~~<      *                        }}  *}                    <<<     ~<~<  <~~
~~~~~<<<<~  ~<~*  <*       ~                    } }}        <     *   < <            ~~         ~~~~~~~~  ~        * *       ~                 }         < }       ~*}     ~<<<~ <~<
<~~<<<<***<<~ << * *              }                       *           ~*~          ~~             ~ ~~~~~         ~  **                                           <*}      *<**~ *<*
***************~* ~   }            *                                   ~          ~~   ~~         ~ ~ ~~~~  }     ~   }<                              <           ~} }*   }<***< **<
****}}}}}*****}*  *   }}         <  }                 }~                *~*  }                      ~         < *<    <}      ~ *                   }             ~}}    }}*}}}* *<<
***}}}}}}}****** ~<    }*                           }<                  <~*}<                                <  ~<~    ~<        }                }<              ~*}*   } *}}}* }**
}}}}}}}}}***}**}*<      *}                         }*<    <<             * }~~<~   }                     ~<**}~  <*<    ~~  *                    *< }                 *     *~}* ***
}}}}}}}}}}}}}< <}          <~~~                   }}*} *}*              * * }*<<<<        *        *<~<* }} }}}}}       <                       }     <              *  }  *}}<* ***
} }}}}} } }}}}     **      ~                           ~               ~ }}  ****< <  <~<  }**}*}}}  } *} ~*   }      *** ~<                         }}                ~*} **}** ***
    }}}  }    }}~          ~                                           ~}  *~ ~***<*  ~~<    }}        *      *          *}*                        ~                 ~   *  *}} }}}
    }}  ~  *   }         ~<   <                       <                ~}}}}*~ *****  <<*              }~ ~}  }<<       ~<<                        <                  ~}  *  ~}}  }}
     *}}~**}}}           <~ }**                       *                  <*     ****  *~*   }} *    }}}   < }*}<         ~*                        ~                     }    }*  }}
    }*    }       *        ~<                         * ~                  }  } }**} ~*~*   *}}*}}}}}}<<                   <                       *<                *    *   }}  }}
} }*}*<*<<     }<~          **                         <                  ~<} }  <}} ~***   <*}<}}}*}**~                                           ***                    ~   * ~ }}
*}}*}*<}*~    *~                 *          <                             * ~~<*     *}<*  *~~* *}****<<                   }         }~*            ~~*                 ~   *}}
<*}<}*<<*   <                 }*          }}                           ~~         }     }  *<~*<**<*~<<        <~  ~ <<} <}<                      < ~          ~         }}~   }*
<** ****<                                 *~                              <*<<}*< }  }}}*  *~ <  <<<*<<<   ~       *}*} <~~}          *< <         ~~               *<             }
~<* <****<   <                   *~ ~~~~     }  ~<~  <        *    <        <  }*   }}}*   *   * ~<**<<~   ~       ***}*<            *  <          ~              ~    *        }}*}
~~< ~<<<~~       <~        }    }~          }   <*           }                ~    ***<<   < ~ * ~~<<~~          ~<}*< <            }<~}<          ~~                ~  <}}  <  **~*
 ~<< ~~<<*~~                    <<              << <           *          *      ~~*  ~ }  ~ ~ <   ~~~~               ~  ~          }}} } *       ~~     < *}       <  *       <<~~*
~~<< ~<                 <    }   <} }       ~*  } } *  *      }                 <    ~<*   ~~      ~~~      <<* *<       ~          <**}          ~     ~<}}<      *}  * <*~* <<   ~
~~ ~  <                   ~     *<****   ~      *< *          * ~                       *  <~   ~  ~<~                   <          <***  *      ~ ~               ~   ~  <*  ~
 ~ ~  <              } }   <       }*                          *  <                  <~~}  ~       ~<<~     ~  ~         ~        ~<*****}*     ~              ~   <} }  <*  ~  ~**}
  ~                        *        <}    < }         }  }     <          }          **}   ~       ~<~~     ~~<< <                <  }***}<     ~~~      ~ ~      ~}<}  **     <*}}}
                   }*}       *      *   }      }            }<       * *             }}*<  <       ~<<< ~   ~~~  ~   ~            }*   *}}     ~ ~~ ~~  ~    <<   **~  **  ~~~***<
      ~                          ~***           **                                         <      <~~<<<<    ~~~~                ~*}*   **       ~~    ~~~~     ~     ~~   ~~<     ~
      ~<<~<<~    ~  < ~            <<}} *  }}<} }  <  } }         ~ *     ~ *  **<     *}  <~     <~<~<<<~~~ ~~~~                *}**}}  }    ~ ~~   ~~~~~~~<       <<~~  ~~     <*}
 ~    ~ ~   ~   <                  ~        ~ <     }         <  <          }       ~~<<*    <<~  <~~~~~<~~~  ~~~       ~~      * }*}  *            ~~~~~ ~<    ~<<*} ~         ~~
  ~   < ~~  <               }      ~*     <          *                                  <  <  ~   ~~~~~~<~~   ~~~~~      ~          *  }* ~        ~~~~~~~~  <<~~~<<*~~          ~~~

                             j    V                UU        Uo          jo              V   U  oV V                        jV            U   VU           V
                                o                  UV        Uo           j            U             U           j         jVU           U    UU           V
                              jVUU           UV  Vj         UV           Vj         j      U                 Uj             oVU         UV    VU           o
                j          VU joVUUUU             U        UVV                                           U      o          joVVU        Vj oo jj          Uj
                              joVU                        UUVj                          j               jojV               jVVUUUU         UVUU         UUo
                             UVVU            Uoj j jV     UUV               U         o                   oVoV  U V         UUU      VjjjooUUU      UUUUUV
                               VU          V     Uo    U   UV             V o      V                          jVU Uj        VU     Uoj       UV j       VV
                 j              VU          VoVV  UVjV    UU V         o     o  U                           Vo   joV         V       oVUj  oo  jjU      Uo
                 j               oUU         Ujj j  V U  UUj           j  o   oo                            j jVU j           V       VjVVVUUVo U       o   o
                                   oU                  UUU                   UU                             jUjo               VU       UojjjoU        o             jj
                   j                joUUU             oVo                  j   U                                j               oV                   V              j
                   j              Uj jooVoV         Uj                          V                          U                     joV            UU U                 j
                                 oV VooooooooVVU Uoj                            V   o                  V   V                 joUj jjoV        ooVo                        o
                                 oU   UUVoooooooojj                       o         U      VooooVU      j                      U  jjooooVVVojjooj    j                   jjj
                                  U         Vooooj    j                  j j               U   UUVj     j  j                       UoooooooVVooj j   V jj                jo
 j     j j                     o              UVVoVUU j                                            jj       ooj                        VoooooVU     o
jjjj   jj jjjj                                       V                   oj                jj  jjjjjjjj      j                                     o                   joj
jjjj  jj    jjo                                                                            ojjojjjoojjj     Vo               V                    U                     oo       j
jjjjj                                                                                      o  j jjjj       j                                      o                              j
jojo       joj                  j                    j                      jj             o                                                      V                   jooo       j
 j           oo                  j         o          j                      j             j                               o          U                                  j     j j
            jj                           V            V                    j      jj                                                                                     jVj   joooo
                                        j    V                                     jjjjj                                            j oj  V                            jj        jjj
                                       V           UUV                             jj                                  j    U       V                                           jjj
                     j                                     jo    j           jj                                                    U   j
                        VUV   o    jU j   VU  o      oU   V o     V                                                                            Uj                          jj
                         V j          V  o V          o o jo      V                                                                j   j      U                   jj
                     oVj jj o  Uj  j j jj  o   o   U       oo    j VVo                  j                      j                        jo
                                                                           j                                                            jo                          j
         j j  U U o      U    UVjU   o jV  U VU   V VV    VUoj     V          U                                                  o
           U   U o UU o      VV U     oU       U          o UV    o  V V    o    U      j                                          jj
         o o  U V o    j    V UUoooV  VU o o UV     UU   U j  U oo U          U                                                     jjj
                                                                                                                           j         jjo
                V  o      o  j  o        j       o  j     j  j jj       o                                                       V      jj
                 UV  o o   V         Voo j      V j                 j    U                                                       o   oU jj
               o  jU   UjVVo Uo   V      U      oj  U    jUojj U  U   V                                                          jjj oU  j

              WWWW&MKWWW&          WW   &W        KWWWMMW&WWWM
             &&MWWWMKWW&       WWWWM      WWW      KMW&  KWWWK
             MMMMK K  M&      KWWK                &MM  MK MM&
              &MWMK  &M       W              &     MW&    WW&
                 MWWW          M           K        KWWWWM&
             KMK                         K        W&
             WWWWWM&W                             WWWM&KMWW
             WWWWWWWW                             KWWWWWWWK
             MWWW WWWW                            WWWM WWWW
              M&   &K                            KWWW  WWW
        & &W& M&K&W WK  MWW                      WWWM  WWM
                                                 WWW   KW
     W &&KK &M  K M M    K K &MKW                KWW   KW
             &              K                    WWK   &
                                                  W
       W&M&WKW W W&M W MM&&WW                   MWW KWWKM W
             M
             W                                    W
                               K                                     K
                                 K                                     K



                &WWWW                               WWWWWK
               WWWWWWW                             WWWWWWW
               MMWWWWWW                           &M&WWWWWM
              KKKKWWWKK&                              WWK  &
              K  KWWK                             WMMMWMMK  K
             &WWWWMWMWWWM                        WWWW&WKWWWWM

 ,,.   ,    :                 .                ,,
  .,:, ..                                      :                   :
 ::                               :      ,     .                .:
        . ,               ::      :            ,                      ,
        :                   ::   :,:.,,:,.                         .
       .,             ::    ,  :              ,.::          ,   ,:    :
       ::                         :       ,                 ,
         ,                  :             :     ,                ,  .
           ,          ,,,,,        ::       ,:,  .         :,     ,
     .,                      :     ,,        :        .    ,   , :
     ,                       :: :  ,      :                    ,:    :
            :           ,       .  :      ,  .            :  ::
                                   :           :                    :
         :                 ,       :  :                        .   , :
                                      :               :
                    ,          :      ,
              .                     .                ,      .
 , :     ::,      :    ::     .  ,    ..     : ::      ::  :   ::   . :

...,,,:.,,, ,,..... .....,,,,,..     ,,.:,,,.,: :,.........,,.,,:,,..
.....,,,.,  ,.. .,,,. ..,,.,:::,.    ,.,,..,,.: .  .,   ,.. .,,.,:,:,,
......,,... ,.     :   ,..,,:::::    ,.,,.:,,.. .     , :    ,.,.,,,,, :
,.,...,,,.           :   :,:,:::, ,  ,......,..   . ,          ,,,,::: ,
..,,,,.,...  :        .    :::,:: ,  .........,  ,        ,     :,,,,.
...,,..,:   ::              :,:,, ,  .......                     ::,:. ,
 ......:                :::  ,::, . . ..,..,                 ,., :,,.. ,
   ..., ,,::                :::,, ,  ,  ,..:     .              .:,:,, ,
..   ...                      : , ,  ...  .,    :                 ::,: ,
,,,,   ::                :   .: : :  :::,                          ::: :

     ~<                           <  *<*     *   }                 <~~ ~
      }   *                  *           }   *  *             <     << ~
~  ~<*}~  <*               ~*}      ~***<  }  ~  }                  <* <
<<**<<*}                     }     <<~<<*<    ~               ~  }  <} }
}} }}}<} }   <        <                      ~ }   }            ~ }   ~}
     }}  ~~         *<        } }          }<<               ~    ~*   }
      <   ~                 < <**   <    *  }  <*                 ~ <}<}
  }~      *<                 }*<}~* *    <  <                     *  ~<
 }**~ <                      ~}*<}   }}}}~                           *
**}<                          <}~    *<**~~   } ~                 <<  }
<<*}<              *       *   ~ }*  <~<*~ < ~*~     }*    <~<*  <~<< <*
<<~       *   * }  }<  } }        *  *~~*~ ~*        }     <     }~<*~~*
<<                                   <~~*<~<*<~     }     <<~<<<~}<* <}*
<~<    *   }   *    } }   *   <   <  * <**<~*<<<         ~****< ~<* ~ ~*
<~<*}      *  }* *  ~<*       * <<<  * ****~**<    <*} *      <**}< ~<<*
<~<*}                 *         **}~ } ****<~**             * }<<< ~****
*<<*}     }*     *             ~*}}~ *~*****<**  * }~         }**< <*<*}
~   ~~~~~     *    ~~~~  ~~~~     ~  ~  ~~~~~ ~  * }  ~  ~~ ~~~        <
                              <
                                                                     <
                                                     <*<               *
              ~}} } <*~                          ~  *<    }}~
            < *    *  } *                       *}   }  * } *}~
           <}  *       }*}~                    }*          }*~ *       ~
         ~}}  <        ~ * *                ~* *}<         } <  <
<       <} *}              *~        }      ~~~*}          }    *
~*~    ~     <          <             <<                    <
  ~*~       }         }*     ~ ~        **                       ~
    ~*<     }                  ~         ~**~                *    ~

             V               j            o                   j
           UV           V     o                  UU    UV
            V     o jU  j                   Uo       jV  V   o
             o     UU  V    j  U           oo     j   UVoU        j
  j           jVU    V        V o         o U              o     j  jj
jjjjj           UVoo         j   UUVVVUUU o         ooVUojjo        oj
jjjjjj      U        U       o       jjjj  j     V         j       o
oo  jj      U        j               ojoj  j                       o   j
j    o           V                j                                jj oo
             U    V  o           jo            j          j            j
         V   o        oU
             j j              j                       j  j
   oU V    U  oU o U VjUU U j     j                  oj
      o o o o o ojVU o Ujo   V                      jVV o
      ojjjj jU  o jj   o jV oV                   U
      V       U              U                           U
               V                                  U
               ojj                                  oo
                                o                                   U
                                V j                                   U
                                  VU
                 j                                jj     j
             j         j                              jV   j
                     V                             U          j
                      U o o                   j   V       U j jo
          j  jU        o                         j
                                                  ojoU   VU
               oV    o  U                        j        oo
                                                o