Source

Facebook's new front-end server design delivers on performance without sucking up power

At a high level, this workload is simultaneously latency-sensitive and throughput-bound. Each web server needs to respond to a given user request quickly as well as serve requests from multiple users in parallel. In CPU terms, we require good single-thread performance and excellent throughput with a…

— Facebook Engineering, code.facebook.com

Ops

                                                                   KWW    K&M&&WWMK                   MWWWWWWWWWWW                              MM               K &     MWK
                                                                   WWKKMK&&&M&&&&                    WWWWWWWWWWWWWW                              &WK                        WWW
                                                                    K          K                       WWWWWMMMWMWWW                                &   W                 WK &WM  WW
                                                                       MWWW&KK                          &K    KWWWMMWWK                              W  &               &  W  W   &
                                                                            K                            M       &WWMWWWWMK                         K KK K                  W MW   K
                                                                       MWMMWW&                     &M KMWWWW       &WWWWWM&                       W     WW       K   K    K     W
                                                                      &WWWWWWMK                    WWWWWWWWWWK&WWWWWWWWWMM         &K           K M        W     K        W       WW
                                                                       KWWWMK                     KWWMWWWWWWWWWWWWWWWM&KKK       &WK&        KWW      M                  K    &W   K
                                                                                                   &&WWWWWW&MWWWWWWM&K          K WW           WM &      MM&                      WW
                                                                                                           W K&MMMK          & MWWW                  &    KWW                W    WK
                                                                                                        MWWWK                 WWWW          K K W               &&              K&
                                                                                                                             WWW              KM W        &   MWM &W      WWM
                                                                                                      &&&K KMW&             WWW&               &  W K &        &M   W
                                                                                                          &MWWM              WWW                   KW WW        K   &  WW
                                                                   M KK&K                             WWWWWWWM&K                                    &W  W& W                     K
                                                                   WW  K&MK                           &MWWWW&K                                        W   &WK  M
                                                                   &WW K&&K                                             K                      WM       WM W   K               W
                                               &MWW                KWWW MMM&&                                            KKKKKK                      W      W   &               K
                                            WWWWWWW                WWWWM &&K                               &WWWWWWWWWWWMK    KKK&K                    K      W& MK    MW
                                          WWWWW WWW                 WWWWMK&&    KK                 &MMMMMMMM&&&WWWWWWWWWWW     K&M                    KK  WW     WW  K  W     W
                                        &WW&K&  WWW                 MWWWW MM&KKKMK               WWWWWWWWWWWWMMWWWWWWWWWWWW&   KK&&         WW          KK KWW&W  KKK  & &W
                                       WWWWKKWWWW W                K &WWW  MM&&&MK             &WWWWWWWWWWWWWWMWWWWWWWWWWWWWM KK KK                            K&   W   M& W
                                  MWWWM MWWWWWWWWM                W  &WM  WW& MW &K           &MWWWWWWWWWWWMMM&WWWWWWW WWWWWWW    K                               & &     W&M
                                 WWWWWWWWWWWWWWWW&               &WW&   WWWWWWWW              &MWWWWWWWWWMMMMMMMWWWWWWWKWWWWWWK      KK                                     M K
                               WWWWWWWWWWWWWWWWWWW               &&  KKWWWWWWWW     K         &MWWWWWWWWMMMMMM&&WWWWWWWWWWWWWWW      KK KW                        &           M&
                              WWWWWWWWWWWWWWWWWWWW                  MWWMWWWWWWWW              KMWWWWWWWWMMMMMM&&MWWWWWWWWWWWWWWM     KKK KW                       WW  K        W&
                             WWWWWWWWWWWW&WWWWWWWW                  WWWWWWWWWWMWW& KMW         &WWWWWWWWWMM&&&&KMWWWWWWMWWWWWWWW    KK&K  WWM    &WW               &W  K      &W&W
   MK                       MWWWMMWWWWWWWWWWWWWWW                 &WWWWWWMWWWWMW   &WW         KMWWWWWWWWMMM&&K &WWWWWWM&WMWWWWWM   KKKK   WWM       KM                WWW       WK
WWWWW                       WWWWWMWWWWWWKWWWWWWWW                 M&WWWWWWWMMWKWK  K W         KMWWWWWWWWWWMM&K  WWWWWWWK&WWWWWWW      K K WWW                       & &WWK      W&
 WW WWWW                   WWWWWWWWWWWWWWWWWWWWWW                 MWWWWWWWMWWWW&W KM &&         &MWWWWWWWWWWMM&  MWMWWWWWWWWKWWWW      KKK WWWWW               KM    &     K      W
                          KWWWWWWWWWWWMWWWWWW&MKM                WWWWWWWWWWWWWWK&  WK K         K&WWWWWWWWWWMMMK MMWWWWM&KW&&&WWWK      KKK&WWWM                              &   WK
       WW                 WWWMWWWWWWWWWWWW WW&WW                 WWWWWWWWWWW&&WK   WWW&          &MWWWWWWWWWWM&K &MMMWWWWWWWW&WWW&       KKMWWWW                            &&K W K
K                        WWWWWWWWWWWWMWWWW&WWWKW                 WWWWWWWWWWWWWWW   KMWM          K&MMWWWWWWWWM&K  &&WWWKMMMWWKWWWM       KKMWWWW                              MM MW
& &                      WWWWWWMWWWWWWWWWWWMWM                  KWWWWW&WWWWWWWW  WW& &M           &&&MWWWWWWM&&   M&WWWWK WK K&WMW        KWWWWW
MM&K &K                 WWWWWW WWWWWWWWK&WW  WW                 WWWWWWWWWWWWWWWW WW                K&MMWWWWWM&K   &MWW& WWM WMKWWW         WWWWW
  KK                    WWWKM  &WWWWWWM &WWW&K                  &WWWWWWWMWWWWWW& WWWW              KK&MMWWWWM&    &MM&&W  WWWM KWW&        WWWWW                                   K

... .,,::.. ...::  :,.   :,,  .  ,,,   .  ...  ,::.  ...    : .                          ::                          ::   .: , .,         :  .       ,                :.      :
.,.. .,::.....,:   .., ,.,.:  ,  ,.,   : :.....,::    ..    :                           :,:         :                  :.,      ,   .. .,,  .             .                    :.,
.... ,:::..  ,::  :,,:  .,, : .  ,..   : ,.  ..:::.  ..     :  :                        :,:        .                   ,  :      .   .. . ::  .       .   .,   .
.....,: :.....:   ,..:  ,.. , ,::. . ,   ,... .:::    .        ,:                      ::.: :      .                      ,      ..   ,.,,,      :           ,         , ,
    .,:::.  .,::  ,..:: ,..   ,:,. ,     ... ..,:,    .        ,  ,                    ,..  ,                  ,            ,         .                    ,  ,   .  ,    :,      ,
     ,::,.  ..:  :..,:, . .   ::,  ,      .. .,:,.             :                         , :::                               .   :                             :
     ,::,    ,:  : .,  .  ,   :,.  ,  . : ..  .,,.             ,                      :, . ,,,  .                           ,  .       .,           ,   .               :
    .,:,.    ,   ,..:  ...:: .:,. .,  . ,     .,.    .   .                          :.:. , ,,,  .                          :  .       .,..:                         .
    .,,,.   .:   ,. :, . .:, .:,. .:: , ,.      .        .       , :..,     :,..      :  , :,:: ,                          ..          .    :               ,
    .,:,    .:  :. , . . .   .,,  , . , ,.    ..         ,                           .,  , ,:: :, .                        :       :  ,      ,               .
    .,,.   .,:  ,  ,  .. .   ,:,. .   , .      .         .                 .         ,. .::,: ::.   , ,                              ,     ,      ,,       .      :
    ,:,.    .: :. .,: ,  ,   ,:.  .   ::       .             .    ., .. ..,,:    ::,,:. ,,,,:: ,.,             :                    ,.
   ..,.    ..::,. .:, .  ,,  :,   ,  .::       .        ,.:  ,    : ,.  ,,:        ,.:. ,:.,: :,                                                ,          :       :              :
    .,.     ,::, ..:  .  :.  :,   :  . ,.                .,  ,          ,,:         ,,  ,,.:: ::     .::                  :     :,,:          :  :         .                     :
   .,:.     , :   ,, ..  :  .:,    : . ,                 .,  :                      :, ..,.:::::                            ,     :             .
   .,,.    .: :.  ,: ,. .:  ,:,    .   .                 .,,::    :                 ., , ...:::: :                 :,,,     ::    .          . :    :   :         .        :   : :
    ,,.    . ::  .:. ,  .:  .:,      , .           ,      ,,::    :                    ,,...:::, ,,   .      ,      .                .,       ,  :.                 ,,.  ,
   .,,     ,::,   : .,  ,,  .:.      ::                   .,:,    ,                  .. : . :: : .:           : :                    ,         .   .      .      :       :        ,,
   ,,.     ,  .  .: ..  :.  ,,   .   ,,   .        :      ..,,    .                ,  . , .. : :  , ,                               ,            .             .     :
   ,,.    ., ,   ,, ,. .:  .:,.  .:  :.:                  .,::.  ,                 :.:  , .    , ,                                                                               ,
  .,,.    ,: ,   :  :. .:  .,,   .,  :                    .,     :                 .   .. ,. :,                                      .    ,.  :    .,                              :
   ,,     ,: .   : .,  .:  .,,   .                        .,                           ,  ,. ,                                                      :                .            ,.
  ...    .:     ,, .,  ..  ,,.   :                        .:                           . .:.,                                             ..    . ,  :                  ,
   ..    ,: :   .  ,.  ,   ,,.                            ,.          ,           ,,  ,  ,:,                                                    ,   ,. ,:         .               :
  ..     ,: ,  .,  .   :   ,.                             ,.        ,             ,     ,,,,                                               :  : :  :, ,  :,         :  , :        ,:
  .,    .,: ,   , .,  ,:  .,                      .       ,. : .. :                     ,.,:                                                     :  :   :,       :                ,
        .::    ., ,.  ,,  . ,                      .  .   ,. :.,.                      ,,,,::                                                :  ,     ,.    ,            :  ,
     :  .: :   :  ,   :.                          .,. ..  ,, :.,.                 :    ..,,::                                                 :              : ,  :   :       .
         : ,   :  ,   :                             ,.,. .:  ,,.,                      .,,,::                                                   ,      . ,      ,          .   :
         ,:   ., .,  .:                          ,   ,,,.,   . ,.                      ..,,::,                                                          :        .  : . :
         .,   ,. ..  .:                          :   : :., : : .                       ,.:,,:                                                    .        .:  :    :,  ,  :,
          ,   :  ,.  .,                          :      ,, : : :                       :,,,.,                                                      :   :,      .:,   .   ,
          .  .: .,   ,                          .,      ,: ,:  :                        .,. , .                                                   ::: ,:, ,  :::  :  ..:
             ,, ..   ,                           .:     ,, :                    .       .:, ,.                                                      :   :,    , .  ::::  : :.,   :
         .   :  ,,   :                           .:  : :,, :   :                ,      :.:, ,. .                                                         .  ..      ,  .      : :
            .:  ,.  ., .                          .::: :.:    :,                       :.,,  . :                                                   .::::. ,,, :  ,:        : ,

                 <~   ~~    <  ~~   ~*  <~                ~}   }}                    }*<~  <~}*~     }                                 ~~  <* *     ~ ~ <*   ~ }
                ~~~   ~     ~  ~~   <<  *                 <}   <}                   }}*~   <~***                   ~  <                   ~~        < ~ }< *    <}*<  ~  }        }<
                ~<    <    ~   ~~   <~  *                 <*    *       }    <    **} }~   ~~<<*     *                  ~~                      *} } <   *  *      ~   }    ~   }~
       ~       ~~~    <    ~        *  ~<                 <*~    ~<} }}          }*   }    ~ <<*       *  }~<            *                    }   *<  ~*                        }* }
                ~~         <        *  ~<                 <*<   <~ <    **}           *   ~~ ~<<    ~}~    *~   }          *              }}  } < }             }* <    }    <  }~
               ~<          <        *  <<                 ~<<   } *<              }   ~~  ~   ~<            *               ~      ~      }   <     } ~             * ~~ *  }<}  < }
               ~~    ~     ~        <  ~                  ~}<   } }~             }*}}*    ~   ~<  *                        }    *        ~*} **       }   <  }  *      *    ****~*
              ~<~    ~              ~  <                  ~*<   ~}}~<}         **~~~      ~   ~~                               <}          *~     ~  *   **    }}    <          <*<
              ~~~                      <                  <<<     ~    ~*}}<              ~    ~                          *  * ~              *      <        }  *  }~*  <~   *
              ~~    ~     ~        ~   ~                  <<~                             ~   ~    <~                       }              ~* <~ <     <*}    }    <  <*~} }    *
              ~~    ~     ~        ~   ~                  ~~~                                ~       ~       <}                              ~      *   *   }       ~<~*} <    *  }
              ~           ~        ~                      ~~~                ~~~~             ~      **~~}  }<  }*         }    *           <     }< * * ~ <~        < <*}   *}~ }
                                   ~                       ~~      ~       ~~<**<~~          ~   ~   <                    }                   <      }  *   < }  **  }*< } }**  }* }
                                   ~  ~                    ~~     }    <   <<**<*<~<         ~   ~      }              }}* ~                 < *  <  }    }  *     }        <   < *
             ~                    ~   ~                    ~~             }}     **}             ~   }             }}**<~* <   <}~                             *<~}}}  ~       }   <
             ~                    ~   ~                                          <*<                 <           *~    ~*     <} < <<                  } }      *< <    ~}*  }    }}
            ~                     <   ~                                       }*<<}*                   ~}   ~        ~}   *} }*  <*~<  *                     }}  <*~   *    *    }*}
                                  <           }                                    <          ~              *   <***}             ~} ~         ~}}   *  }   *<}  ~*   *  }*}* ~ ~
            ~~                    ~                                               *         ~ ~      *                               }~           *     ~* }       *<    }  ~~  *
            ~                           <          ~              <                         ~~~                                      <}     *     <  ~       } *}  ~       *~   } <<
            ~                         *<                    ~~     }                ~<*     ~  ~                                      <}             ~*<  *     }    }       ~*<} *
            ~                       ~<}                     <<   ~                  }}      ~                                        <~ ~    }       *}    <**   *<         } } <
           ~~                                               <<          <             <                                                ~       }      }        *~<   }        ~}~
           ~                                      ~         *<                   *   *      *                                             }*          ~  ~     ~<  }}*  ~ <    < * ~
           ~                                                *~     <             }    }     *                                             * }  ~ }}    }      ~<*     <    } *   <
           ~                 *                              *    *               }    }     ~                                              }      ~~  *}  }~         ~  ~  *       *
           ~                                                <                                                                                 <      }  }}}<   <*    ~~ } <}       <
          ~                                                 <                    }    *      }                                     }               ~    ~  }    ~~  }     <
        * ~                                      *~~       ~~    }                           ~                                    }}          }~   <    < }  *    }<* }       ~ }  }
}  *                                              *<~     ~~~ ~                     }                                             **                     }*  ~<   ~*           <   }
 * <  ~*                                          **< ~   < ~ < }                             *                                   <*                 }   ~   ~       <  <    }  }
 }}}*}                   ~                        <*<~~~  * ~ ~                 }             ~                                   ~}            <}   <<   ~ **~   ~*  *<< *~     }
       **                                         ~<~~~~  <  ~~                 ~*     ~       }                }                 ~}             }   }   ~ *<   *~ ~~   ~ <*~
      }*}}                                         <~~<~  < ~~~~                       <       <                                  *}               < }~~  ~  < }  ~    ~* <   ~
                                                   ~~ ~   < <~~                      }*         }               }                  }}             <  }}<}      ~}~ *  * * <<~* ~  }
      }~                                      }~      ~   ~~~~                        }         *               *                  *}             *            ~   }<~ }*<~ * << *

                                                                 oo   VUVU         Uj                             U                      j     V  U       j   o j o UU  j   oj
                                                                 oU              Vjj                                                           jo      j               UU  o
                                                                 jjV Voj jooj V oj   j              o U             j                             j           o   V     VU
                                                                    V         Uoj  joV                       j         Vj                           o    U    VVj  U        Vo U
                                                                    jUVj   U VooojjoUU                  V V                                      j U U  V      j    U    U
                                                                 j  jjV       UVoj joo               V       jU   j        V      j        Uj  o     j V   U    j              V  o
                                                                 o  jo         Vo                                         U      UU         j  V     U   U  U     Voooo    V
                                                                      o      oj                                           j                     Uo j   Vj  U  o  U    VUo jVjV
                                                                                                  V                   VVUU    U  o           j   j oo  Vo         UU   jj  jjV Voo
                                                                                                     ojjjjV V      UVojjoVj   j                 o Vjj U                   j o Vo V
                                                                                                       o       jjjjjjjjoVojojU                   o    U  Uj  oo            jjVj    o
                                                                                                          oo      jjoooVVVV U                o  j   o o          o  V j           V
                                                                                                          U    jjoVVVooooo j                     o j     jV  U                oo
                                                                   jVVj                                  U     UVVVojjj     V                   j       oV  V  V U   jj  U   j     o
                                                                  j o    o  jjjoj                               Uoj       o  oj                  joj  jo  V VoU      jo oUjj jj j
                                                                     oU    VVoooj                             UVj        oVo    j             U      V       oV     Ujjj    j j
                                                                      V    Voj                           ooj           V o  j  jU                      U  j U   o       U Vj jo U
                                                   V                   V     UVjjoj                         o         VUV      VUU     o                   o        Uoj       U
                                           U                            V   UVojoo                    oVUUo              UUUU     o    o           ojU j  V V     j     V  j  oo ooU
                                         V     U                   o        UVVV  j               o                       UVUUU   Uj   j   U       oV   o   V U     o jj VV  j U
                                              jj   o              j      V        o             U                           VUU    Uj                            o    o U  oo    V
                                                 V                U o    UV       U   o       o                              U  U  UU  U      V               V    V  Vj  V  o j U
                                       V          V              j UV    U   U  U   jo       V                        o       VUUU UUUj Vj       j                 U  V  o   U   Vj
                                V                                    o o        V   V        U                                 VVVUVU  ojo  j    jo                   UV o o V  U
                                                  o                            Vo  j j       V                                 VoVUVU  U     j                   U V j    U o   j
                                                                   V            U  joV       o                                  oVVVU   V            o              V       jVo  U
                                                                 VUV                  V      jU                                 UoVj    UV          U                        o    V
U j                                              o               U              U             U                U                 jj     UUU         V  o jj j      o o     V   VV  j
     ojV                   V                                                     jj U U       V                oU                o  UUU U U      jV        VV Vo            j
        U                                                        U                            oU               oj                V  VUV   U     j o        oj            VU UVj oo
  j oo  j                                                                         U  U         o                o                   VUVU        U o   j V      jjV    j     U  U
j     V  V                                V     j               U                 o            jU               j                   oUVUU         o      V j                   U   V
 oojjjj  j                                                      V                 V             V                U                  oVoVV       U                            o  V  V
 U UVo                  o                     jo                               V    V           jV             Ujo       V  j       jooVVV      VVV        jj                  jV  U
    U  oo                     j            jU  o                                   Uj            oU            U j     V   V      V  ooVVoU     Vj oj                j   j       U j
UU  oo                       UV        j                                             V           jV           UV j      Uo    U      oVUVjU     j                     o         V o

                           W  KMK        WWWWW            &         K&
                                             WW
                            WWW         WWW&  WWW
                                        &WWWWW&    &M    K             &
                                          &       W                 K
                                          MW&     W        M&
                           WKM                                M
                 &WW       WW&K            WMWWW& K&          K &
                WMWW       &W KK&     KWWWWWWWWWWW KK          K K &M
             WWWWWWW      M  WWW      WWWWMMMWWWWWM  K
            WWWWWWWW       WWWWW      WWWWMM&WWWWWW  K W         W    W
WWK        WWWWWWWWM       WWWWW &    MWWWWM WWWWWW&   &W          W   K
           WWWWWWWM       WWWWWW WK    WWWWW KWWWWMW   KW&           &
&         WWWWWWWMM       WWWWWW K     &MWWW  WWM&&W   KWW
          W KWWK W        WWWWWW W      &WWM  WKKW W   &W&
         WK WWW& W        WWWWWW MW   M KWWM  WKWMMM   WWW
         WW WW MMW        WWWWWW&WW   W  WWWK WMW&MMK  WWW
         WWWWMMWWM       MWWWWWK WW   W  &WWK W&W&MWM MWW
        WWKWW&WW         KWKWWWWKWW   M   WWK MMM  WW WWW& K
        WWKWWM            WMWWWW M&   W&  KWK &MWMMMW WW&
        W  MW    &        WMWWWW  K    W   &&  WWK&&W&W&&
       WM  WWWWK &        W&MWWWK K    K M& K  MWMW&&WWW
       W M&MWW&  W        K&WWWWW        MWKK   K   K& M
       WKMKMW& K W         &KWWW         M&M&  MWWKMW&M
       W&M KK&M  W         WWWMW         WWWM  MMWMMW M
       WM& MK              K  KW         &WM&   WKWWW&WWW
        &K    MK            K             &&K  &M&K& W&M&W
       WMK  WM&        K      &           KK        KKK&WMW
         &    K                                          KK&

..,, . :,,,,:. .   :               ,               .  :    ,,  ,  :
 .:, . .:.,.:  .: .,     .          :   .  ,     .     :        .
  :. , .: . , :,, ..     :          ::                             :
  :  :: , , , ,,.       . , : :   . ::.                         ,
 .,  :,.. , , .,       :.      ,. ..,:. .   :                      :
 ..  : .   . . ,       :,          ..:. .          :                .
 .. .: ..  , , ,    .  ,, :        ..:      .       :.     .    :
 .. ., . . , .  .      ., .      .  .: ,            : :
 ,  :.  .. ,  .        .         :  .                 :    ,
 .    .                .            .                   ..  ,      ,   ,
    :                   :                                     , :   :
    .               .  :,           .                    :: :   :    .
                     :,:,       :   .               :       :    , .
     .              ::,::                                    . :::: :
                    ,:,:,            .                     :,  .,    .
    . .              .,:.                                  ,::.  , .  .:
                      ,,           .                           ,,   :
     .                ..           :                               .
     .               ...           .                          ::    :.
     .            :   .,                                    :,:      .:
                    . ., ,                                  , .    :
    .               . .,.                                       ,
:   .             , . ., .                              .  :  :  .
,                  .....                                    ,  :  .    ,
,  .                .,.. :         .                       :,    ,
   .                .. :                                   .  ..,.    :
                    ,.        :      :  .                   , .:  .   ::
                    :                :  :                     .:, ..
                    ,                                        .::....,

      ~       ~ ~      ~ <        * ~*                 ~     <  *}     ~
      ~       ~        <  ~     * }  ~   <                <    * < *
      ~                <  }}    }}~              * <   }* *~*    ~   *
                       <     *         }          *     <  }}    ~~}*
                                         }   *}         }  ~~}~   <   **
                          < }~<**~             *<*       ~    }} }   ~<<
                                *~         <   ~ *~}     }  }    <~<*} ~
                                        <}}          <    ~  * } *  ~ }*
               *        ~ }       *  ~               ~      ~~    }  *}~
    ~                   ~        <~                    <  *     ~ *   }
           <              }     }                       ~   ~<    *<   }
   *                            *    <              <        * } <
~*                  ~    ~                                ~  <~~* ~ <
   *                     *      }     *             <     *<~ <    < <
  <                      *            <             }            ~<<~ *
                  *                    *                            *
        ~         }                    <                     <~  <   < ~
        }         }                    *                   ~< }   }   <
                ~*}                     *    }                     <   ~
       *      }<         *              *    }           ~     }   ~}  ~
                  *                   }                        ** ~ * }
                  ~                     }                  <     } ~}}~*
                                 *           }}           ~  } ~~  *<} <
      <                  ~       <     <     }*        }     << *  <* <
      *                          *      }                      ~* *}<~
      }      }<*         <        }     }                *  *     * ~< }
      }   }            < <     *  ~                       <  <   < **~
                 *       <        *                        <        ~}<}
      *                  ~}     *    ~  ~    }<             ~          ~

                          V VV   j      o                j         U
                           joUUj j        V j  Uo          Ujj      jUVo
                               U       j    oU      U    V   oj o j j jU
                                               oV         j  Uo      Vj
                                           j   joo o     Uo    oUj   j
                           o             U   Vj           j  V  j jU
                              Vj         jV     j            V o      o
                    o          oo                U         oo     Uo o
                    o        U                    V     V     V o
                           jV   j    U             oV V          j  UU
                                 oj  j             Vo U   jV         j
                          U       U         o        UU       j   j o j
  oV      U        j                  U     U        VU               VU
 Uo                               U         Uo       jj               oo
jj       V V    U U             o o    o    oj    U  jj                o
           j    U        j      U           Vo      Voo              U
           V  V          V           U  U    j       oV           jo  j
                                o    V  j    j       o   U   U jVj     U
                                       o U       UU  o    U Vj  oVV
                 j              U        o           U          jjU
       U UU  UVo                oU      jUV  jo                  j   o V
         UV     j                V         V jU         V   V     j
        V      UV                 o    oo      U UoV  j     o     o   j
              V o         o     U U     j                            j
          j    Uj         j     o j          jj      U U              oj
          o     VU        o oj  Uo           jUV                   o
       V   UVj  VV        jV j  oj       U   oo     U
      j   oj   Vo         jVoU Uoj       V  UooUUUUV
       UU jjUV ooj     U   ooVoj oo      jVVV  VVVVVoUVUV