Website

Optimizing web servers for high throughput and low latency

You can additionally reduce latency by applying CPU affinity on each thread/process, e.g. nginx has worker_cpu_affinity directive, that can automatically bind each web server process to its own core. This should eliminate CPU migrations, reduce cache misses and pagefaults, and slightly increase inst…

— Alexey Ivanov, blogs.dropbox.com

Ops Performance Tuning Linux




                                                                                             &&MK KK  K
                                                                                            MWWWWWWWWWWWWWWK&W
                                                                                           MWWWWMMWWWWWWWWWWWWWMK
                                                                                           WWKKWWWWMK&MWWWWWWWWMWMM
                                                                                          WW &WWWWWWWWMMWWWWWWWMWWM&&
                                                                                          W&K&WWWWWWWWMMWWWWWWWWWWMMMK
                                                                                          WWWMWM&&K&WWWWWWWWWWWWWWWM&     KK
                                                                                         MWW       WWWWWWWWWWWWWWMWM&KK MM  WWWWWM
                                                                                         WWWWW   MWWWWWWWWWWWWMMMMM&  KMW MW   MWWW
                                                                                       KWWWWWWMWWWWWWWWWWWWWWMMM&&&&  K WWWW  WWWWWM
                                                                                     KWWWWWWWWWWWWWWWWWWWWWM&&&&&&M&KMWWWWW&MWWWWKWW
                                                                                   KWWWWWWWWWWWWWWWWWWM&&&KK   &MM&&KWWWW  KWWWW& WW
                                                                                 WWWWWWWWWWWWWWWWWWWWM&KKKK  KK&MMWMMWWWKWW W WW KW
                                                                                 WWWWWWWWWWWWWWWWWWWM&MMMMM&K&K&MMWWWWWWWWW MMW  M
                                                                                 &M    &&WWWWWWWWWWWMMMMMWM&&K&MMMM&MWWWWWW&&WWW
                                                                                    KWWWWWWWWWWWWWWWMMWWMM&&KK&&MM&&&&KKWWWWWWM
                                                                                     WWWWWWWWWWWWWWMMWWWWMM&&&&&&&KKKK WWWWWK
                                                              MM                    WWWWWWWWWWWWWWWWWWWWWWM&&&KKKK     KM&
                                                        &W   WWM                   &&  KK KWWWWWWWWWWWWWWWM&&&K
                                                      WWWW  &WK                      MW     &WWWWWWWWWWWWWM&&KK         WWK                      M           K&&K
                                                      WW                             &     KWWWWWWWWWWWWWWM&&KK        &WWMK                    MK MM MMM&KMK&K&
                                                                                          WWWWWWWWWWWWWWWMM&KKK        &WWMK          K   KWWWWWWWWWWMKKK  MK     KK
                                                                  &WK                  KWWWWWWWWWWWWWWWWMM&&KK        KWWWW&        MK   &WWMWWWKK&  &MK K K K KKK
                                                                 WW&                  MWWWWWWWWWWWWWWWWM&&K          KMWWWW&K     &     &&KKWWMWW  &&M      MMM     K
                                                                 WW                    WWWWWWWWWWWWWWM&&K            &WWWWW&&K   KM   &&&&    &WWW&   &       WK&
                                                                 WWK                   WWWWWWWWWWMM&KK              &WWWWWM& &K KWMMK  K         WWMM          &K  &&K K
                                                                 WWW&                 &WWWWWWM&&KK                K&WWWWWWWMWM K&W K &&&K   K K    &WM          KK  K
                     W                                            WW&                KWWWWWMMK                  K&MMWWWWWWWW&&M&K&KMWK                  K        &
                                                      KWWWM      WWM                 MWMM&                   KK&MMWWWWWWW&&&WMKKK KWWK             K&        &&M        K
                                             KWW   WWWWW         WWWM                                   KMMMMMWWWWWWWWWW&KKMKKKKK WWK&               W&       MMK
                                            WWWW   &            MWWWM       K                          &MWWWWWWWWWWWWWW&KKK&K    &WMK&   W           KM KM&KK KMMW&
                                           WWW                 MWWWWK                                   &WWWWWWWWWWWW&&KK&K   K&K M&M&  K&        K&W& M&MWWWWWWWMWW
                                          WWWW                   WWW                                       WWWWWWWWW&KKKK     &   MWK   W        &WWMWWWMWWWWWWWWW&&M

,.,,,..,,,.,,,,:::,:    :,:,:: :     :                ::::                                 .,. ,:      .,, :,     ,                ,:     . ,  ..     .   ,                    ::,,.
.,,,,,,,.,,,,,:,:::      ::::::      ::             :    :                                                  : .     ,.                .. ,,    .:  ..                         : :,:,
,,,,:,,,,.,,:,::,,::: : ,:,,:: :     ::                                                     ::     :,: ,,.  ., .:      ,            .         . ,.  .                           ::,.
,,,,,,,,,,,,,,:::: :   : ,: ,: :                                                  :       ,:,            :      :   :::.       ,         , :    .          .                    : ,:
,,:,::,.,,,:,::,::  :   ::,,::      :::                                                    ,                   .,     .        ,  .   :.                                          ::
,,::::::,,,,,:,,::: :: :::.         :                                          :                                        :      :,  , ..             ,       ,                      :
::::::,,,::,::::::     :::,,,      : :                                                                                 ,:: ,::  ::   ...     .     .                               :
,:::::,:,,,:,,:::::  :  ::,:,::     :                                                    :                              : ,     :                            ,
:::::::::,,,,::::::::: :::,::                                                                                                   ,
:::::::::,:::,::, : : ::,,::::      :                                                                                          ,
::: ::::,:,:,:,,,::: : : :,                                                             :                                            ,.
::: :::,:,,,,,:::   :   :::                                                                                                   .       :. ..
::: :::,:,.,,,,:::  :   ::                                                                                                  :         .. .                      :
: ::::,,,,,,,,:, :    ::                                                                                                             ,
:::::,,,,,,,,,,,::: :    ::                                                                                                               .                      ,
,::::::,,,,,,,,:,    :: : :
::::::,,,:,,,,,::::: :      :                                                                                                        .
, :, :,,,:,,,: ::::       :                                                                                                          .,
:::::::,,,,,:,:,::: :: : :                                                                                                           ,
: ::::,:,,,,,,:::  :    : :                                                                                                        ,,.,
   :: :::,,,,::::::    : :                                                                                                 ,                        :
:     ::::::,::::   :   :                                              :,    :                                           .          .
: :  :::::::::: : ::                                           , , ,                    :,                                 :                   .            :
        ::: , : ::                                                .                       ,                                  ,     :    ::,
 :    :  :: :                                      : :                                 .                           ::               ,
  :    :::  :                               .                             ,                                      :..,            ,
:        :  ,                      ,..                               ,                                           ::                    :               .  ,
:     : : ::              :,..                                                                                ,:, .             .                           .
         :  :      :..                                                                                    :,,,.                               :.        .  .::
:                    .                                                ,     :                         :......  ,                             : . .:      :    ::
         ,..        .                                                 :                            :.,,., .                                      ,,             :
     .                                                      :.        ,                       .   .,, .  :                              ,    .           .           .
                                       ..   :   . .             .                        ::    ... .                                       . :,.  .     .  .      :
     .                        .,,                .    , .     ,                        , .        . , .                                   ,:...., .                .,  : ,
               .,,:  ,..                       ,:.  .,:              .                   . ,  ,                                        .  .,,.. ,                    ,
                                               . .: ::        .                                  : :                       ,    :           ..,                          ,

                    ~~~~      ~ ~~<~~ ~~~~<<<<<~<~~~~~    ~~~~~<<~<<~<*****<*<~<<<<<<****~<      <~}~**   }        *                         <<     *~           }}*<<<<<~~~~~~
                   ~~~~~~      ~~~~~~  ~~~<~<<<<<~<< ~<~~ ~~<~<*~*<**<<<<****<<<~<~<<}***<}<<~*<**~~<<*<~*<}     ~                 *<      ~ *}            }     }}*<<<*~<<<~~ ~
                     ~ ~      ~ ~<~~~  ~~~<<<<*<<~<<<~~~~~~<~<<*<<*<*<<}*<**<~<~~~~~<***<* }   << *   *   <<  ~    * *~            ~ <<  }** *             <     }}**<*<<<<<~~~~
                  ~ ~~~ ~  ~  ~ ~~~~~~~~~<<<<<<<<<<~~<<<~<~<<***<*<***<****<*<<~~~ <<***<*              }   }  ~ *}}               ~~* ~  ~ <~                    }}****<**<~<~~ ~
                  ~~ ~~~      ~~~~~~   ~~~*<*<<<<<<<<<<<<<<<<*<*}**}**}****}<<<~~~~<**<***                       ~ } <             <**     < ~                     }***<<*<*<<<<~~
                   ~  ~    ~~~~~~~<~ ~~~~<<****<<<<<<**<<<****}*}*}*}}}}*****<< ~<<~*****}                        }   ~       ~  ~* *                              }********<*<<<~~
                  ~~~~~      ~~~<~~ ~ ~~~<*<**<<<*<<<**~<<****}}*}}}}}}******<<~~<<*****<~                           }~   <    }                                   }****}*}****<<<~
                   ~~ ~~       ~~~~~ ~~~~<*******<***<*<***}}}} }} }  }}}}}**<~~<~<<**}**                              <   <}  <                                  } **}** }}}***<<~~
                      ~      ~~~<~~~~~~~~<***<**********}**}*} *}}    }}}} }**<<~~**}*}}<}                             }}<~    <                              }    }}}*}}*  *}<**<~<
                 ~ ~ ~        ~<<<<~ <~<<**}}*<<***}}}***}}}}}   } }    }}}}*}<*<*<*}}}}~                                   *                                       }}}    }} }**<<~
   ~                ~ ~ ~  ~~<~~<<<~~~~<<**}*}}}*}}*}}*}}}*}    }        } }}***<<**}} }                                                                       ~   }}}} }    }}**}<~
   ~             ~~~ ~~~   ~~~~<*<~~<<<<<*}*}}}}}**}}*}*} }}            }} }}}}<*}}} }}~       }                                   ~ <                          }            }}* <<~
   ~              ~~ ~~~  ~~~~~~<<*<<<<**}}  }}*}}}*}}}*}}  }                }}*}*}}}<~                                              *                               }         }***<
 ~              ~ ~<~~  ~~~~~~<<~*<<<<*<*}} }  }*}}}}}}}}}*  }               }}****<~                                                 ~                          <             }}}<<
                   ~ ~<<~  ~~~*****<*<**}} }  }}}}}}}}}**                }   }}}*~                                                    <                                        }}}*<
                 ~~~~  ~ ~ <<<<<*<******}     }*}* }}}}}*}} }                 }}<                                               ~                                                }*<
                    ~ ~~~~~~ <<*}<*<**}}}   } } }    }}*}}  }               }}}<                                                      ~                                     }    }*<
 ~  ~         ~    ~~~~~~~ ~~*<**<****}}*       }}  }*}}}}                     *<  }                                                                                             *<<
                   ~  ~ ~ ~~<<*<**}****} }     } }} }}}}                       }*<                                             ~      ~                          }               }}<
 ~               ~~ ~~~~ ~ ~~<<<*<****}}     }  * }  } }}}}   }               }  }}}                                         ~                                  *                }**
~~~  ~             ~~~~ ~ ~<<<**}****}}}}       }}} } }}**} }*                  } }                                                 ~                          *                  }<
 ~~~~~           ~~~ ~~~ ~~~<<**}*}***}}       }}*   *~<        }}   **       *   }                                                ~                          *                   }<
 ~ ~<          ~ ~  ~~~~~~<<<<<**}****}}}     }}}}  }<    *<      ~    ~        }                                   }}             ~        *~          ~                         **
~~~~~~~~   ~ ~ ~  ~<~<<~~~<<<<*****<***}}     }}}                       }             }~}<                         }<*            ~   ~     <        *                            }*
~ ~<~~ ~~  ~ ~~~~<<<<<~<<~<<<*<<***<*}*}}        *<     <                             < <                        }~  *       }<~  ~  ~ *~                *                        }*
~~ <~~~   ~~ ~<~<<<<<<<<~<<<<<*****}*}   }<~                                                                                 }                      }                              *
 ~~~<~~~~ ~~ ~<<~<<<**<<*<<**}* }*<                                                                            }~   <                            <    *    ~                      }*
 ~~<<~ ~ ~  ~<<<<<*<***}**                                          }<           }   ~                      }~                 ~            *      <}                              *
<~~<<~~~~ <~ ~<*<*<                                                                  }                  }*         *                       <    <             ~                    }
 <~<<<~~~~<<<}*<** <<                                                                                <          *                                          }<*    ~               **
<<<<~<<<~          ~                                     *             ~<                        }~        <}                          *  ** < ~~  ~ ~       <          }         }*
<<<<                 *                                               ~                      }~       ~                                   < }~ <<~ }       ~<        * *<         }}*
<<<< }                                   ~<<             *<~         ~~                 *  <           <                                ~   ~          <     <          }         }*
<*<*<                            ~**}      }         < *             ~*                      }       ~                                                                           }}*
<<<<<*~            *<   ~~<} }    }}                         ~                          < ~ *                                                    *                  }     ~       }<
<<**<<<*<<****}*}*****}}<******}}}}}}         }    ~           <<                          *   *  <   **                       *      <<  ~    ~                       ** *       **

                                                                                                             j                                     o       VjjVoj
                                                                                                             j    jj                        U               joooo
                                                                                          j   j  j               jj j                  Uj   j               ooooo
                                                                                                 V  Vo o   V                          o                     oooooo
                                                                                                              j   j o                                       joVVojj
                                                                                                                 V oVV                                       oVVojj
                                                                                          o                        Uo         o                              oVVojj
                                                               j  j jj                      U                        Uo  j   oo                               VVoo j     j
                                                              j   jjjj    j                                           V    VUoj                                oooj       jj
                                                              jjj j ojjj                 V                           UVjjV                                     VVojj   jjjj  j
                                                            jjjj jojjjjjj j           j     V     o                    V  UU                                    oVo    j jjjj
                                                         j  jjjjjjjojjjj  j         j   j     o o                   UU   o  V                                    oVjjjjjjjjoj   j
                                           jj             jj jjjjjojjjjjjjjjj                                       Uo U     U                                   jooj jojjjjjjj
                                           j jj            jj jjjjojjjjjjjjjj                                                                                     ojoojojooojjj
                                          j jj           jjjjjjjjooojoojj jjj     j                         UUU          oo      V                                oVoojojojoojj
                                         jjojj    j        j jjjoojojojjjjjjjj                             UU              U U     V  j                           ooojooooooojojj
                                         joo j j jojj     jj jjojoooooooojjj    U                                          U   VU                                 VVVooVoooo ojjj
                                         jooojjj  jj      jjjjojooooooojjjjjjjj       o                                         o                                 VVVoVVooooojojj
                                        j ojooj j  j    jjjjjoooooooVjooooojjjj   oV                                                                              VVVVVVVoooojjjj
                                        joojo jj j jj j    jjj jjooooooooooojj jj   j                                 U                                          VVVVoVVVVVooojoj
                                         joooojj   j j     j    oooVVVVoVVVVVojj j U                              UUVVj   o                                     UUUVVVVVVVoooooojj
                                        oooojjj   jjj     Ujj     Voj          ojj   jU  U                     UUUUVojjoU                                      UUUUUVUVVVVVooooojj
                                         oojoj    jj                             jjUj  j                       UVVVj  oU                        U      U U       UUUVVUVVVVVoooojj
                                         oojjj   jojjV  V                        jojj                          UVVj   o     V          U      oU  j             UUUVUUUVVVVooVoojj
                                         joooVVoo     jj       oU                 oooo   V                     Uo     V     V                             U  VUVjU  UUUUUVoVVVoojj
                                      joo                                         VoooV                       UVj    o      U VU   o               V    U V U V   UUUUUUVVVVoVooojj
                               j                                    V             VooV                     UUUo              UVj   Vj U           V            VUVUU UUUUUVVVVVooj
                                                                   V              ooo U                  UVj        o         V    UUo    VU j       j U     V   VjUUVUUUUVVoVooojj
                                                                    Vj          joooV V               Uo                    U  U     jV UVj UV                   jU   V UVoVoVooojj
                  U                                                  j       joooooooo            Uoj            V            U   U U    Ujj    V         U        V ojVUUUVoVoojj
                 UV   U                                   o      U   V   VUVVoooooooo         Voj            oVV                      V jV  j U       Vj UUUV U   oVoVUV oVVoVoooj
    j                                                      V        U  UUUVVooojjooVo     Uo              VUU                    U    oo  o      j   oj     o   o U      UoVooooj
                                                        U              UUUVooooooooVVVUo                                         U    Uo UV     Uo               V  o    oUUVVVojj
                                     oVUVVo     U V V          V       UVooU UVVVUUooVo                                      UUUU     VoV          VV  U     U            jVVoooj
                            j jjjj  jjoooVV   U               V       VUUVVVoooVUUUUUUVo     j        oV                   UUV   U    V               V                    joVoojj
                                     jjoVj                          j VUUVVVooUUUUUUUUVUVoo VoV o       jUV              Vo  U   V   V   j      o                    VV    jVVVooj


                                     MWM&K
                                    MWWWWWWWW&
                                    WWWWWWWWWWW
                                    W  MWWWWWWK MW W
                                  WWWWWWWWW&&MKWW&WWW
                                WWWWWWWWM&&K&WWWWMW
                                  WWWWWWWWM&MM&MWWK
                      K W&       &WWWWWWWWW&K
                     &W              WWWWWW&K   W        &K &  K
                          W        WWWWWWWMK   WW&     MWW K   K
                          W        WWWWMK      WWMKK& K   &
                      K   W       WWK       &WWWWM& M
                 MW       W              &WWWWWW&KKKW          WM
                 W                        &WWWM     M     KWWWWWWW
                 W&    WWW            K    WW&      W     WWWWWWWWK
                 MWK WWWW&        K &  K   KK     K MMK  WWMM& MK
                  WWWWWW&        KW&M&&&&K &    K   & M&MWWWWM
                  WWM&WW         KWM&&        M&   & KK&MWWWW&
                  WWWWWK     KKMMWWWMWM   K      K&       K&W&
                  WWMMK    M&&WMMW& WWM   &K  K         M    &
                  WW&M    &M&&&KMMMMWMK   &  K   &           &
                  WW&KK        K    &  KKKW      &       &&K   K
                 &WK            M     K&     M   K    K    K
                 W&             K               K
                 W                             K   K

       K
       K W WW WWWKWWKWK WMWMW W  WW& &WWMW& WWKWWWWMWWW MMWW WWWW

.,...,,:::::: ::      :               ,,, :  .         , . :          :.
,,,.,,,: :,,: ::                :              .    : ,::              ,
,::,,,::::,,: ::                   :           :,  :
:::,,:,:::,:   :
,::,,,::::::                      :   :              .
::,,.,,: ::                                                     ,
::,,,,:::::
::,,,,,:: :                                          ,
:::,,,,: ::                                         .          :
: :::::                 ,       ,             :       .,
: :::         :.                              .
:       ,                                    .
  .    .             .                :.                  , :    :
            .,        :                                   ,
                           :                     . ,     :
                   :      .
   :                        ,.               :.,                  ..
   ::                    :: ,                 :                       ,
  :,,                   ,               ,,                     ,  :
 :,.,                   ,  :                                   :.
::,.,:                                          .    ,          , .
::,..::                                             ,          : :.
::,..::  :                                    .   .               :
::,.,:       :               .                       ,    .
:,..,    ::: :: :         : .,     :    : , .                 .,   .
,,,.,:::::,::::       :        ,  ,.    . :                ,:  .    .
,,...,,,...,:,,:    ,         ,:  : .:  ,, .:               : ,     .
... ..:        .     .    : :,  :.          :         ::               :
..      .                       .                                .     :

             ~  ~<<~~~ ~~<<<<*<~~<*<~      ~  ~                  <~~~~
        ~    ~  ~<<<<<~~<*****<~ ~<~         <*      }        <  *<*<<~
             ~  ~<<<<<<<**}}***~~<*               <              *****<~
            ~~~ <*<*****}}}}}}*<~**~            * ~            < }*}}**~
            ~<~~*}}*}*}}}   }}}<<<                  ~             }  }*~
        ~  ~<<<<}}}*}}*}}    }}<~                                     }<
           ~<*<*} }}}}*}      }<                    ~                 }<
         ~ ~<**}   }}***}      }*}                              ~     }<
        ~  <***}   }}<      *~~*}                                      <
 ~     ~~~~<***}    }                                                  *
 ~   ~~<**<**<                                       }<      ~         *
 ~~~~<*<                                  ~            }**             *
~<      }                   ~        }    <           <<~~ * <}   *    *
~~            ~**  ~                                   ~         *     *
<*<~~*}}}***}}}}}             }      }}< }              <          }   }
*<<~~<<<*<<<*** *     ~    ~} }<<*     }}<     } }      }          } * }
<*~ ~<<<*<<***}}          ~~  <  *      < *      *     *         }  }
<<~  <<**<<*}}}            ~                                  *
~~   ~<<*<<*}*}  }       ~  ~~            * }                    <
~    ~~<<<<*}}}  *       }             }    }                    }     }
      ~~~~~<***}                       * *        **~    *    }  ~     <
       ~~~~<*<<} }                       ~            <     * *        <
       ~~ ~~<~<*<                     ~    }         }<*    <      *   <
      ~~~~~~~ ~<~       <}       <*      }~**   *        *    ~        <
     ~~~~   ~  ~      *~}~ *  ~  <     < *   }       <   }   ~         ~
               <     <  *     }  <    *~ } < ~       <       <~        <
                   ~ }   }   ~  *  *  ~      }      }    <   *         ~
        * }     }}~   *}*} ~            <    } ~  }} *  <~     ~
      *

                                                        j     ooj
                                          oj                   Vj
                                              V                Vj
                                               j o              o
                         jjj       U o         U  V             oj jj
                         jjjj    j                               ojjjj
                 j      jjjjjj                     U             ooojj
                jjj      jooojj                                  Voojj
                jjj    o  jj                 UojU               Uooojjj
                jojj             jo U        j V V      V  U VU VVVoooj
                           j     oU         o     o j     V j V VVVVooj
                           o    joV      j    U      U     V   joUVUooj
                       V   V VVojj         V       U U         Vj  oVoj
                    Vo   U UjoVoVoo                  Uo    VUVV     oVo
                  j       U Vo VUVUoV          Uj o  jo           V jVo
               j             o    VUVU    o   j   jo Uj  U            o
                j   o          jj  V UV            U    V     o       oo
               joj              o           o  o UUV U         o       j
               jo              V      UU   U o  VoU U         V        V
               jj         V j           j  U UUVU  Vojojoo    j
                VV     jjVV        V    o   VU U V        VVU
                j     UVUV             Uo  UU V   jV   joUjj    V
                 V     VjV jUUj VoUU o      UU     j    j    UV
                    VVVj   jj jV   UUV  U         Uoo  VV   VU V
                   oVo            V U o       jU UUVU VUV ooU
                j ooj  j Uoo j  V    j        U VVV o oVjj
                VVj   jjV jj     j            VVjjoU jjjo
         j j        V                         o j
             o               U      U                  U    U