Website

Boosting NGINX Performance 9x with Thread Pools

But the asynchronous, event‑driven approach still has a problem. Or, as I like to think of it, an ‘enemy’. And the name of the enemy is: blocking. Unfortunately, many third‑party modules use blocking calls, and users (and sometimes even the developers of the modules) aren’t aware of the drawbacks. B…

— Valentin Bartenev, nginx.com

Nginx Ops

             WM              W      KM   W     KK   M                      M                      W             W    W             W
            &WW   WWW&  WWW  W MM    WM W  WWW  K   M  WMW     WWM  WWW    WWWW  WWM WWW  WWW  WW WWWW &W& WWW  W  W W  WWW  KWWW  W W  W
            W &W  W  W W   W WWK      WW   K&W MW   W  W&     WW   W  KW   WK  W W  WWKWW  K&W W  W  WM W   KMW WWW  W MW  W W  W& W W  W
           WW  W& W  W W  MW W W       W  W  W WW   W    WW   M  W W  WW   WW  W W  WM    W  W WK W  WW W  W  W W W& W MW  W W  W& W  WW
           W    & K  M  &WK  K  M          WMK         MW&     WW   MW       WM  &   KWM  KW &  W        W KW K K  &       K    W& K  W&
                                                                                                                              WWK    W&

           K                        &   W                              &                           &                                                     M
           W&M&   &M   KM   K  & WW K KW& &    KW    KM  WM&&   &&     W  KM    &&  WK K   M      KWW   W       M K  K&    &&   K&    M  M&  WW  &W    W W WW
           WW KW W  W  K WM W  W W& W  W  W  W  W   WW & WW WW W  W    W WK WW W  W W&WK MW K     W W&  W K K W& MW W  W MW &W W  W WW  M  W W  WK W&&W  W WW
           W   W W  M WW WW W  W W& W  W  W  W  W     &W WK  W W  M    W W   W W  W WWW    KW    WWWWW  W     W   W W  & MM  W W  & WM  WK W W  WKKM WW  W
           WWWW  KWWW  WWWK WWWW  W W  W  KWWW  M    WWW &   W &WWW    W  WWW  WWWW &  W  WWW    W   K& W      MWKW  WWW KK  W  WWW &K  WWWW  W  WWW  WWWW WW
                                                                                                               WMW


           WW    & W              WW                                                                                  W             MWWM  W   W   WW  WMWWW
           WM   &W W WK W&WW      MW&WW WWMW WK W& W    WMWW WW&W WW&W&   KWKW  W&WW WMWWWWW WWKW  WMWW WW&W  W&MW    WMMW  WKWW     MW   W & W  KW W   W
           W&   KW WWK &WK&W      MM  W W  &W WW WM&   WM    W&KW W   W    WMW W   W W  W  W WKKMKW&  W W  MMKWK&W    W  MMWW&&W     WW   W   W  WWWW   W
           WWWW &W W WW WMWW K    WW  W WWWW  WW WW     WWWW W&MW WK KW   KW&W  WMWM W  W  W MW&W  WWWW W  WW WMWW    WWWW  WMWM     WW   W   W WW   W  W
                             W


                                                                      W                            W KM         W                           W WWW  W
            WWWW MWWW  WW WWWW  WWW&  WWW  W  W KWWW    WWW  WWWW  WWWW    WWW&  WWW WW KM  W WWWW W &W W  W    WWWW  WWW    &WW WWWW KWWW  W   WW W
           W   W W  WW W  W  W &W&&W W   W W  W WW&     K&WW W  W W   W     &&W W     W &W  W  &KW W &W W WM    W  W WW&WW   WW  W&&W  M&W  W  WK  W
           WWKWW W  W  W  W&KW  W  M W  W& W  W W  W   MW &W W  W &W  W    W  W W  W  W  W MW W  W W MW  WW     W  W WW      WW  W  W W  W  W  W   M
            K &W  KM      &  W   &&    &    &    K&      &          &       &     &   K   &    &         W        &    MK         K&   &K      M   M
            &WK            MM                                                                           W





                K  KKK          &KK&K KK               &&MMMM&&&&&&&MMMMMMMM&&&&M&&&&K&&M  WWWWWWW     &KW                                                     K W
              K     KKKKKK&&K   K  K   KMWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW  WWWWWWK    WWWWK                                                    MWW
           &M&&KMMM&KKKKKKK       KWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW    KWK KW   WWWWW                                                    MWM&W

                                                                                                *  *                              }
                                                                                        }     }  }                    *           }
                                              *                                                                       }           }
                              }               }                                                                  }    }           }
               }                                                                        *      }   }                }     }



                                *             }                *  }            }  }                                                    *   }}
                        }  *                                                  } }} }       * *                        }               }
                                                    *                                                                              }
                                                                             }               }  }


           }                      *                                                                                   }            } }} } }        }
                         }                }  }  }  }     }    }}    }       }    }   } }  }    }    }   * }    }     }  }    }
                                            }          }                                          }                  *    }
                            *        }                                    *     *                        }        *  *                         }
                                                       }                                          }                  }    *                              }
                                                                            *    *             *


                                                                                                                                             }
                                          }            }          *                 }      }                         }          }            }
                                          }                                        *       }             }
                                 *     }    }                       }             }       }             }           }           }  }
                      }     }   }  }            }  }             *                                  *     }    }   }                  *   }}  }   }
                                                                                                       *





                                                                                                    }       **}}}  }***}}}}}*}*}*}}}}}}}*}}}}}}  }}     }
                                                                                                            }}}}}}}*}}}}}}}}} }}}}}}}}}}}}}} }         }}
                                                                                                }           }}}}}}}}}}}}}}}}}}}}}}}}}}}}        }  }}}

                                        o            V                      j                  o        U             j
               j j     j               o  U    U     o    j   U    o           o             U                V   o    U   o     U       o
             o   j        o               o          Uj  U      Uo                        U     V  o       U              j           Uo
             UU  j      U       o     U    j         UjU        o   o         o        oUo  j      j      U  o            j   UV
                                      jU  o    oV   Uj        o  o    U    UV               U    oU  oo U    V       U oo    UVj
                                                                                                                             o

            j                        o U j     jV        Vj                         Vj              j  jU                                                  UU
                    j    U         j j       U         V                    U           j U U          U       U o     j oV       j oV  j      j   V  V U
                  Vj oj              U        VU                oj j                                   V   U         V  V       Vj V     jV   U   j     V
            U     UU j  V            U        VU     V  j   U j UU j        j o    V   U  V  V         V  VVV  o V   VU j   j   VU     j  o   U     V      VV
               V      U          V V V        oV    U     U V            o           V  UV             o            V       j  U             U VV   j
                                                                                                              U   V

                jo j                                                                                                                j  j      j       ojjjo
                U     j                                                                                                            U    UV     o    j      o
                                                                               U                 V          V              o             o U U j   j
                                                o                  U V                                                                   o jVj       U
               U              V      j      j                                 jV                 j       o                 o             V     j



                                                                                     jU             o          o                           U     V
           V          V  j    U      U                     U                    U      V            o  V       V         o                 U  j
              o       U  j    U         U          o             o U       U         U        V     o          o    V           V    oj   VU
                  Vj VU       Uo  j   U      V   jj              o   U    V  V   U  jU  U       o   o          V oj     UU        j    V  UU
           V o      j  o   o  V       U j  j oU         U jV U  o  o jU    o jV  U o   U V jV j oU o jo         oU    o      jj     j    o  V
                          j  o                                                                           o





              oU UU   UVVUUUUVoU     U  VVUVUUVVUVUVVjj                                           Uj U    j      jj                                jjjjj     j
            jU UUVUU         VVU UU VoV                                                           jjjV                       j              j jjooojjj   jjjjj     jUjjj
                           VjjjjoV                                                         jj      jj                                   jjjjjjjj      jjjjjjjj      jjjjj

     W                        &
                 M    M  M    &   M M      & & K   M

    &        K &       M    K          K                K    &M
       M M           K   &K         &       KW K   &   W  &

    M  &      K          K                     W     W W  M  W
                         &    K             K     K        K

                            K     M   K M      &  K K K KM&
     M     M                              W


                                  K  WM
     &&&     &WWWWWWWWWWWWWWWWWWWWWM   K WW                     W
     WWWMWWWWWWWWWW&WWWWW&WWWWWWWWWK    WWW                    WK K
       M&W&WWMWWW     WW& KWWWW        MWWWW                  WWMM
         MM&MWWWW     KK &              WWWW                 MWWW
         MMK&K  &      WWW&            &WWWWW                WWWM M
        KM K  K& KM&  KMWWW             WWWWWWWK         K WWWWWMW
         & &WW&  KMMM& K&K&MK           WWWWWWWW         WWWWWWWW&W
      KKM  WKMKMM&&WMK&M&WWWM         & WWWWWWWW&       WWWWWWWWM
    MWKK     K K &WWM M MM&KKW&        &WWWWWWWWW      WWWWWWWWWMKW
          W      MWMKKK   W WW         WWWWWWWWWW      WWWWWWWWW
           &&      &W WWW               &MMWWWWWW     MWWWWWWWWWM
                  KWMWM  M W              KWWWWM       WWWWWWW
                     K&WWWK             K  KWW   MK    WWWWWM
                                       WWW  W  W  WWW  WWWW      &WM
                                       MWW  WWK & WWW  WWWK       WM

                       ,  ,               ,   :
             .  .
                                                   ,
                      :              ,    .,
                .                     :   ::
                                            ,,
           :                 :                     ,
            ,              : .                          ,

                                           :
                                         ,


     :                                      ,,...,,,,,,,,,::,
                                        ,   .,,,,,:,::::::,.,,    ,
                                     .     ,  ,,,,,,.,,,,.,,.    .
    :             .,                          . ........,...
      ::                    : ,,.,,.          .  .......           ,
       :            .       .,,,,,:.             .......
       :                     ,::: ,,             ......           :
     ::                       ,,:,:, ,            ....
                             . ,:,,,
          :,                   .:.. ..            ,::.
      :     :   :              .:.  .,            :   .
    :   :,                    ..,,:..,:          :. ,.
         :.. ,                ,:::, ,,, :       .   .
          :.,,:    .         ,,,. , ,,.. .,        , .          ,
          :,:,,. ,:      .     .  . ,,
        :::::.,..    , :      ..  . ,.                .

        }<} * <  *~   }    }<  **<*~*~  *  *<   }~}} <*
                       }         <            * <
                                                  <  ~
      * *}***    ~*     }}   * *}  ~          < } < < ~  * }
                                   < *              }

         }   } }  }    }~   ~  < *     }   }     }  ~ ~
     }       <~        }    *    }}}}  }     }              ~}

        }   }   }*} } *   }*     < }<<   }}          *     *
        **  } < *  <    *~}*}  } < *        * } *  * }  <*~~


      <*}<*<<<<~< }}}<             }}  ~~ }                    ~
           *                          <                        } }
                                            ~
     <}             **           <~  ~      <                ~    <
    ~~             <}      *           <    }  ~
    <~~ <         ~~                  ~       <*         }  *
    <<~              <           ~                                 *
    <  <                               }                ~          <
                                                       ~         <~
         }  ~                         *                            <
     } ~*     <                                     ~~
     ~~~  }  <  ~            *                     ~             *
    <<<<~     ~ *                                  ~  }            ~
    <*~<~~                 }*                       *             }
    ~<<~~~          <   ~             }    *     <   ~
    <<<<         ~*                       ~*     *         <

       o   o   Vj  o o   j            VV V   o o    j
    UjUoVVUUU  U  VV V    VVV  Uo  j UUjooj U    oU jVV

     j o      V j  U V    o   j  oo V   oU  jo j j j U o  j o
    UjU j UUUoVo UVo  jjo   ooVojVU    VUo    o V U  oV jo oUUj

      V o U     oj Uj o   jo  U j UVojU jjj Vj  o U     Vo UU
    V ooooUj   jVjooj o o j    oj    VV jV V   UVo   V o VV

    jjVo Ujo Ujj   o   Ujo    Vjo      V    Uoj U  o   V
    V Vj  o  j j jo V oV      V o j ojojj    j V  j o Vo


                 j    VUVVVUUUUUUU       V                      V
    o   VVV o                        U
    j                                  V
                 V       V     oV     U
        o               j j           o                          UU
              UU V    j              V       o                   o
          U VU  V   j      o          UU
        V j    VU     V               j
    UU   Vo                            V                           o
        V     j j    U U
    U    U U   o       VjU U  U                    j            Uj
              VU jU  o   jUUo          j
               U V     UU U U            U                    Voj
                    j                         o              UUV   U
                                          U  U  V          UU
                      j                        o                 V