Website

Dockerizing Mysql

Uber Engineering’s Schemaless storage system powers some of the biggest services at Uber, such as Mezzanine. Schemaless is a scalable and highly available datastore on top of MySQL¹ clusters. Managing these clusters was fairly easy when we had 16 clusters. These days, we have more than 1,000 cluster…

— Joakim Recht, eng.uber.com

MYSQL Ops Docker Uber Engineering

           &           W         WM   W                                                                        W           &                WMWW
           W& WWW&  WWWW  WWM    WWW  W KWW& W  K  WMW  WW MWW MMW  WW WW  WMW     WW& KWM& W  K  WMW    WMWW  W MWW  W  W &  WWW   WWW&    W  W  WWW  KWWW  W  W  WWW
           W& W  W W   W W  WK   W &W W    W &W W    W  W  W  KW  W W  W  WK WW   WW      W &W W  W      W   W W   KW WK W W  W  W W  &W    WWWW W   W W  WK W  W WM&WW
           W& W  W WK &W W  K    W   WW W  W  WW  W  W  W  W   W  & W  W  W       &  W W  W  WW     W    W  WW W W  W  WW  W  W  W WK WW    W  W W&  W W  WK W  W W  K
              K  &  &W    MW             WKK   K   WM           WW   W  W  &W      WM   W    KW   MW     W W      W K  WW        K    WW          KW&     WK  W &  MW&
                                                                                            KM           W            M&            WW&                 WWK

           M                                                          &                                        K               &                   &
           &   &&    MW  W &    &       &    &&  K  K  K    W  W      WW   WW   &    K&       K &K   &&  &        &&      &K        K  &&   KM     W M    MK  KKK
           W &W KW    W  W  W WK WW   WW WM W  W W WW WM     WW   WW  WWK W W W  WK W  W    W KW MW W  W W& W  W W  W    W  W  W W  W W  W WW &    W  W WW MW W
           W &W  W    W  W  W W       W   W W  &  WW WW     W WW      W W&W W W  K  W  W    W  W  W W  WK W W  W W  &    W  W  W  WW  W  &   &W    W  W WW KK W
           W  &  W    WW W  W  WMW    M   K &WWW  W  W     W   &K     W  W  W  WMW  K  W    W  W  W KWWW   W   K &WWW     W&W  M  W&  KWWW  WWW    W  W  WWW  W
                                                                                                                         WWMW


                                                           W          W    K  W    M  W
           KW W &WKWW    W MW W WK W&MW W  W  W W  W WW   KW  WKWW    W &W W &W    WW WW W  WKKW    WMKW &W  W WKWW&WW
           M& W KM  W   MW  W  WW  W    W  W  &KW WW  W    W W   W    W  W W  W    M  W   W W  W    W  W  W W  W  W  W
           WM&W &W  W    WKMW W &W WMWW WWKW  W W  W M&    W  W&WW    W  W W  W     W W   W W&&W    WW&W   W   W  W  W W
                                                                                                    WK W  MW






               &MMMMMMMMW&MMWWM&WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWMMWW&&&&MWMMMMMWWM&&&MMMW&&  M&KKKK&KKKKKKKKK      K&&&&&&&&&&&&&&&&&&&&K                   &&&&&&&&&&K
            MWWWWWWWWWWWWMWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW  W&&&MMMMMMMMMMK        &MMMMMMMMMMMMMMMM&&K                   KMMMMMMMWMWWWW&
           WWWWWWWWWWWWWWMWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWMW  WMMMMMMMMM&&K           KWWWWWWMMMWWWM&K                      K&MMMMMMMMMMMMWM
           WWWWWWWWWWWWWWMWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWMW  MMMMMMMMMM&K  KWWMM&     WWWWWWWMKKKKK&K                       &MMMMMMMMMMMMMW
           WWWWWWWWWWWWWWMWWWWWWWWWWWWWWWWWWWWWWK   KWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWMW  &&MMMMMM&&&K  &M&KK                                            &MMMMMMMMMMMMMW
           WWWWWWWWWWWWWWMMWWWWWMWWWWWWWWWWWWW         WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWMW  M&MMMM&       &&&&K                              MWWM          &MMMMMMMMMMMMMW
           WWWWWWWWWWWWWWWMMWWWWMWWWWWWWWWWWW     K&    WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWMW  &&MM&         MWM&K          K                    K&K          KMMMMMMMMMMMMMW
           WWWWWWWWWWWWWWWMMWWWWMMWWWWWWWWWWW  WWWWWWW  WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWMW    K           &WMK      WWMMK                                  K&MMM&MMMMMM&&W
           WWWWWWWWWWWWWWW&MWWWWMMWWWWWWWWWWW  MWWWWWWM &WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWMW                 &M&K   &WWWWWW                                   &&&&&&&MMM&&&M
           WWWWWWWWWWWWWWW&MMWWWMMWWWWWWWWWWW    MW   W KWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWMW                  M&    WWWWWWWM                                  K&&&&&&&&&&&&M

                                     }                                  <                                     *
                   }                                               }     *}                      *            *                                  <   }
                    *                }            *                  }               }                        <         *                             *
             *            *  *    }                                           }     }                         * *  *     *
                         <        <           }   *   }*    }     } } }*                         <            <             }}


                      * *                                              *
            }           }   *               *  *   <  <    <         *    }        }   <   <        <  }    } }  *  *    }   *}          }
                     *  * <}    *          < }       *               <          *          }         *<      }  < }  *  } **                        }*    }     }
                *    <  *                                            <     <          <    }       *                 <              **    **   }
                *       *     }   }                                  <     *      *   <    *                                                           <


                                                                      <    *<         ~
             *            <   <  <  ~~  <  ~   <    <     }    <     <  <   }  ~        ~    ~~      ~   <   * < <  <
                        *                ~   }   <*          *       ~            <  <
               }   <                             ~        <       ~  ~       *                  *          ~        ~
                   *    <      <             }    <       ~  <       <       ~       }                    <      <  *
                                                                               ~                        **
                                                                                                     <<  ~<





             *                                                                                                                           }***<<<<<<}                  }
                                                                                                           }}***}                        }********<<}
                                                                                                                }*                    }    }*<*<*<<<*}}
                                                                                                                  *                   }}     *<<<<<*
                                                                                                                  *<    *  <<<<<<<     }}       **<}
                                                      }                                                           } *<<<*  }}*****<*     }       **<*} }
                                             ~ }     }                                            }**}}           }*<*}   ******}***<*}  **}     *<<<<<<
                                                                                                 *~  <}}                }}*}**********<<******}**<<<<<<<}
                                                       <                                   }**}}*<~~<*}}                   }******<***<}}<<******<<<<<<<<
                                               }    }                                      *~ ~<<<<<*} }<                  ******<<***< ****<*}*<<<<<<<< }               }

            V                                                       o  o                                                    o              j
                         o           j           Uj    j  j       o   V           V             U                   U     j jj   V o       U    U          Vo     j
                      j   UU            oUU        UU Vo    V   UU      j   U       V  oVU       V Uo       V    VU         VV             U      j         V
                                    U           V  V  Vo    V V      o  V  j U                 o oj  V    o                 VV       o     U  o     U   UV  j  o   V  o
           Vj         oU    U    U   oV o            V  V  V   j         j   U    j  j o UU         V     j U  V V V       V  V    oVj     jV  Vo      UVj   U V
                                                                                                                                   j                   V

            o            U                                 Uj  oV          VU                                 V               V
             jV        U  U    U o    Vo U                   jU                U o  o       VU               V V            V  Ujo            o     V o  V
            o                                 j                  U  o      j   V   V  V                 j     U    j         oV    j   oj j                    j
            o                  UVUo    o V j oo  o           U                 VV jV          j  o         U  U j VV    j    oV  U     VV   V             U
            jU                         j o         o  U     V           j     j    o          j  j        o   o          o   oo            U                U



                                                                             j      U  o
             U            U    o            o  o    V       j          U    j  j        U V             V   o
             U            UU      V         o       VV        o             j       V  j o j UU    j    o
               j                            o  V o  U       V               o  V   U   V U              o   U           o
                                                                                                      U






              V                                                                                            UVooVU                      Uj           oVVoVU           V
                                                                                                          o      V                    UVj            jooV
                                                                                                        UooVUUVo  j                Uoj jooo            jV
          j                                                                                            VV      UVj U               Uoj  oUUVj       joojoU               j
          o                                      jjV                                                   VU     UVoj  jVVj          jUUUo  oVUUVoj    oVUooU               j
          o                                   j                                                   UVVVVoV     UUVo j     jo         oUVoj jV    V     j oU               j
          j                                     oo  U                                           Uo     jU     UUUo     U j             jj   V   o       jV               j
          j                                   j       o                                    VU UVj       V    UVVVjU                                      o               j
          j                                  jU                                                         jV    UVj       Uoj                              jU              j
          j                                  jV j  U V U                                              j  jU  Uooj        Uj            j                  o

             M                                          &
       K  W     MK  &&   W    &  M & W &  W  &M            K &K &W

          M             &   W W
            &     K KM       K  K            &   M  M & W    W

                       K    W  & &&
     &                                  &M



     WWWWWMWWWWWWWWWWWWWWWWMWWWWWWW  WWWWK    WWWWWW         KWMMWW
    MMMMMW&WMWWWWW    WWWWW&WMWWMWW  WMK  MK            &     &&&&M
    MMMMMM&MM&WWWW WW  WMWW&WMWWMWW       MK  KK              &&&&&
    MMMMMM&&M&WWWW KMKKWMWM&WMWWMWW        & WWWK             KKKK&
    MMMMMM&KM&&WWW& MKWWWWMMWMWWMWW          W&WWW&W              K
    MW&MMMM M&KMWWW  WW&WWMMWMWWMWW          WWWWWWM          KKKKK
    &W&MMMM &&KMW& MWWMMMW&&MMWWMWW           WWWKMW           KK
    &W&MMMM &&KMWKWWWWWWW&&MMMWMWWW              KWW&          K
    KW&MMWW &MK&      WMKMKWMMWMWWW              MW& K&&       K
    KWMMWWW &M&MM       KK&WMWWWWWW           KWWKK K  KKK
    KWMMWWW &MK&W       W W&MWWMWWW           MWWWK    KK  &   KK
    KWMMMWWK&MK&W      WWMKMMWWMWWW            WWWWK       KM
    &WMMWWW&&MKM      &WWMMMMWWWWWW           WWWWWW       KMW
    &WMMMWW&MW&      MW WWWMMWWWWWW           WWWWWW&  K K  KMWK
    &W&M&WWM&M&           WMMWWWWWW             MKWWWK       KMM
    &WMM&MWWWW             WMWWWWWW                WWW        &W
    MWWWWWWK               WWWWWWWW                WWM
     MKK     &             MWWWWWWW  &           WWM

       :      :              : :  .  ,  ,    :        ::
                        ,             ,                :
                                     :    ,
                       .   : :                                  :
       :           :   ,           , :             ,       :
                                                .:
    :          :   :
         .     ,                   .            .
                                        . .

     :                             ,:      ::          . .
                                                        ...
                                              ,::. .      .
                                    :   .        ,,,..,.  .
                                       . ,       :   .,..,.. :
                                    .               . ...,   :
                                            .           ..   :
                                     :.               ,,,.   .
                                               :       ,.
                 : :                            :             :
                  . .:                 .   .                  :
                      ,                . .                   ,
                 :                       . .  .               :
                                       .....
                .,,,                   .  .
               : ,:.   .                 .. .            ,
                 :. :, :,.                 :. :         ,,  ,
                : .      :          ,       , .  :              ,,::
               . .  . :             ,       :         :        :

     <  * <<    ~~~~~~*~<<~   *    <~ ~}   ~  <~~ *}~}    <*< } *}*
      ~       *    }   *       *                      }
                                               ~     *       *
         } *}    ~  *}~   <    * }  <  < *** }  }   ~} *  } * }
      * <}<     }             }  }< * <    *}        } < ~<

      } ~  * ~  <<  }   <*~  <     }< <   **
        }  ~ <    <    ***< <<*  }    ~    }}}<<


      ****<*<}}} }**} }}}<*~*<*}<*}  *<<<*<  **<<****}~    ~~***}*~
                                   }}       }<       ***   ~*
                                   }*        ~      < ~}   <*
                      }            }  }  <      ~       ~~
                                   }    ~
                                          ~
                                   }                ~
                                             ~       *
                                                      ~
                ~ ~ *                                    <
                       }                                   ~
                 ~<*~~                     ~                  *
                  <<~}
                <~<}}                       *             }
                                                           *
                ~   <*< }                    ~~<       }~   *      }
              <~~  ~  ~              }<<< }    }~      <
                 ~ }*< ~<              }~~~<   }<          }   *
                   ~     ~                 <   *     *  ~*   *  ~~~~

    U j  V     o           VV    j        o j    j       U   j
    UV  jU V V U  o   o   Vooo    V o   o  Vj  oVoooVU  VVU V  o  V

    UjV o    j oo jj     o      j V  jj j   o j  oUj  j V  U o U
    oo     j V j j      jo  o  U       oVoj   U U U         V oV

     U j  V j j   j  V        V      o  jj  jVV
    o o   U o j oj ooo         o  j jV    o


                j    j
    o                                     VV        U              j
                  U  j                  Vj  o        j   o   V     U
                     o               U      jo               j     V
                  j                       U j                      V
                   U               j       Uj                 UUUU o
           U       jV                                              o
           U      V                j                V         U  UUj
           V                       j          o      U        o UUUj
           U         o             j                U   V       UUUo
           U                       j               U UU   U    UUUUo
           U           o U         j               VUUV  UU o    UUo
                                   j                VUVVUUo  V VUVUo
                     o             o         V      UVoUUU    VoUUUo
               U    o  V           o        Uo       VV U       UUUo
                         U         o                  j         Voo
                          V        o     o        V   j      V  o
            Uo        o   V        o UU           U   Vo    VUU
    V   UUUUU U           o        j  VVVjV     o   V  j  Vjo