"For storing per-entity metadata, Unicorn provides a forward..." — Facebook

Quote
Catalog

For storing per-entity metadata, Unicorn provides a forward index, which is simply a map of id to a blob that contains metadata for the id. The forward index for an index shard only contains entries for the ids that reside on that shard.

— Facebook

Unicorn

Understanding Queries NLU Unicorn Query Engine

More from Facebook

View all quotes

Quote
Catalog

accomplished aggravated alive alone amazed amazing amused angry annoyed anxious awesome…

Quote
Catalog

What we actually want is a way to force some fraction of the final results to possess a…

Quote
Catalog

While each user has 130 friends on average, they have approximately 48000…

Quote
Catalog

Jon is also a friend-of-friends of himself since he is—by definition—a friend of his…

           &           W         WM   W                                                                        W           &                WMWW
           W& WWW&  WWWW  WWM    WWW  W KWW& W  K  WMW  WW MWW MMW  WW WW  WMW     WW& KWM& W  K  WMW    WMWW  W MWW  W  W &  WWW   WWW&    W  W  WWW  KWWW  W  W  WWW
           W& W  W W   W W  WK   W &W W    W &W W    W  W  W  KW  W W  W  WK WW   WW      W &W W  W      W   W W   KW WK W W  W  W W  &W    WWWW W   W W  WK W  W WM&WW
           W& W  W WK &W W  K    W   WW W  W  WW  W  W  W  W   W  & W  W  W       &  W W  W  WW     W    W  WW W W  W  WW  W  W  W WK WW    W  W W&  W W  WK W  W W  K
              K  &  &W    MW             WKK   K   WM           WW   W  W  &W      WM   W    KW   MW     W W      W K  WW        K    WW          KW&     WK  W &  MW&
                                                                                            KM           W            M&            WW&                 WWK

           M                                                          &                                        K               &                   &
           &   &&    MW  W &    &       &    &&  K  K  K    W  W      WW   WW   &    K&       K &K   &&  &        &&      &K        K  &&   KM     W M    MK  KKK
           W &W KW    W  W  W WK WW   WW WM W  W W WW WM     WW   WW  WWK W W W  WK W  W    W KW MW W  W W& W  W W  W    W  W  W W  W W  W WW &    W  W WW MW W
           W &W  W    W  W  W W       W   W W  &  WW WW     W WW      W W&W W W  K  W  W    W  W  W W  WK W W  W W  &    W  W  W  WW  W  &   &W    W  W WW KK W
           W  &  W    WW W  W  WMW    M   K &WWW  W  W     W   &K     W  W  W  WMW  K  W    W  W  W KWWW   W   K &WWW     W&W  M  W&  KWWW  WWW    W  W  WWW  W
                                                                                                                         WWMW


                                                           W          W    K  W    M  W
           KW W &WKWW    W MW W WK W&MW W  W  W W  W WW   KW  WKWW    W &W W &W    WW WW W  WKKW    WMKW &W  W WKWW&WW
           M& W KM  W   MW  W  WW  W    W  W  &KW WW  W    W W   W    W  W W  W    M  W   W W  W    W  W  W W  W  W  W
           WM&W &W  W    WKMW W &W WMWW WWKW  W W  W M&    W  W&WW    W  W W  W     W W   W W&&W    WW&W   W   W  W  W W
                                                                                                    WK W  MW






               &MMMMMMMMW&MMWWM&WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWMMWW&&&&MWMMMMMWWM&&&MMMW&&  M&KKKK&KKKKKKKKK      K&&&&&&&&&&&&&&&&&&&&K                   &&&&&&&&&&K
            MWWWWWWWWWWWWMWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW  W&&&MMMMMMMMMMK        &MMMMMMMMMMMMMMMM&&K                   KMMMMMMMWMWWWW&
           WWWWWWWWWWWWWWMWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWMW  WMMMMMMMMM&&K           KWWWWWWMMMWWWM&K                      K&MMMMMMMMMMMMWM
           WWWWWWWWWWWWWWMWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWMW  MMMMMMMMMM&K  KWWMM&     WWWWWWWMKKKKK&K                       &MMMMMMMMMMMMMW
           WWWWWWWWWWWWWWMWWWWWWWWWWWWWWWWWWWWWWK   KWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWMW  &&MMMMMM&&&K  &M&KK                                            &MMMMMMMMMMMMMW
           WWWWWWWWWWWWWWMMWWWWWMWWWWWWWWWWWWW         WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWMW  M&MMMM&       &&&&K                              MWWM          &MMMMMMMMMMMMMW
           WWWWWWWWWWWWWWWMMWWWWMWWWWWWWWWWWW     K&    WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWMW  &&MM&         MWM&K          K                    K&K          KMMMMMMMMMMMMMW
           WWWWWWWWWWWWWWWMMWWWWMMWWWWWWWWWWW  WWWWWWW  WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWMW    K           &WMK      WWMMK                                  K&MMM&MMMMMM&&W
           WWWWWWWWWWWWWWW&MWWWWMMWWWWWWWWWWW  MWWWWWWM &WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWMW                 &M&K   &WWWWWW                                   &&&&&&&MMM&&&M
           WWWWWWWWWWWWWWW&MMWWWMMWWWWWWWWWWW    MW   W KWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWMW                  M&    WWWWWWWM                                  K&&&&&&&&&&&&M

                                     }                                  <                                     *
                   }                                               }     *}                      *            *                                  <   }
                    *                }            *                  }               }                        <         *                             *
             *            *  *    }                                           }     }                         * *  *     *
                         <        <           }   *   }*    }     } } }*                         <            <             }}


                      * *                                              *
            }           }   *               *  *   <  <    <         *    }        }   <   <        <  }    } }  *  *    }   *}          }
                     *  * <}    *          < }       *               <          *          }         *<      }  < }  *  } **                        }*    }     }
                *    <  *                                            <     <          <    }       *                 <              **    **   }
                *       *     }   }                                  <     *      *   <    *                                                           <


                                                                      <    *<         ~
             *            <   <  <  ~~  <  ~   <    <     }    <     <  <   }  ~        ~    ~~      ~   <   * < <  <
                        *                ~   }   <*          *       ~            <  <
               }   <                             ~        <       ~  ~       *                  *          ~        ~
                   *    <      <             }    <       ~  <       <       ~       }                    <      <  *
                                                                               ~                        **
                                                                                                     <<  ~<





             *                                                                                                                           }***<<<<<<}                  }
                                                                                                           }}***}                        }********<<}
                                                                                                                }*                    }    }*<*<*<<<*}}
                                                                                                                  *                   }}     *<<<<<*
                                                                                                                  *<    *  <<<<<<<     }}       **<}
                                                      }                                                           } *<<<*  }}*****<*     }       **<*} }
                                             ~ }     }                                            }**}}           }*<*}   ******}***<*}  **}     *<<<<<<
                                                                                                 *~  <}}                }}*}**********<<******}**<<<<<<<}
                                                       <                                   }**}}*<~~<*}}                   }******<***<}}<<******<<<<<<<<
                                               }    }                                      *~ ~<<<<<*} }<                  ******<<***< ****<*}*<<<<<<<< }               }

            V                                                       o  o                                                    o              j
                         o           j           Uj    j  j       o   V           V             U                   U     j jj   V o       U    U          Vo     j
                      j   UU            oUU        UU Vo    V   UU      j   U       V  oVU       V Uo       V    VU         VV             U      j         V
                                    U           V  V  Vo    V V      o  V  j U                 o oj  V    o                 VV       o     U  o     U   UV  j  o   V  o
           Vj         oU    U    U   oV o            V  V  V   j         j   U    j  j o UU         V     j U  V V V       V  V    oVj     jV  Vo      UVj   U V
                                                                                                                                   j                   V

            o            U                                 Uj  oV          VU                                 V               V
             jV        U  U    U o    Vo U                   jU                U o  o       VU               V V            V  Ujo            o     V o  V
            o                                 j                  U  o      j   V   V  V                 j     U    j         oV    j   oj j                    j
            o                  UVUo    o V j oo  o           U                 VV jV          j  o         U  U j VV    j    oV  U     VV   V             U
            jU                         j o         o  U     V           j     j    o          j  j        o   o          o   oo            U                U



                                                                             j      U  o
             U            U    o            o  o    V       j          U    j  j        U V             V   o
             U            UU      V         o       VV        o             j       V  j o j UU    j    o
               j                            o  V o  U       V               o  V   U   V U              o   U           o
                                                                                                      U






              V                                                                                            UVooVU                      Uj           oVVoVU           V
                                                                                                          o      V                    UVj            jooV
                                                                                                        UooVUUVo  j                Uoj jooo            jV
          j                                                                                            VV      UVj U               Uoj  oUUVj       joojoU               j
          o                                      jjV                                                   VU     UVoj  jVVj          jUUUo  oVUUVoj    oVUooU               j
          o                                   j                                                   UVVVVoV     UUVo j     jo         oUVoj jV    V     j oU               j
          j                                     oo  U                                           Uo     jU     UUUo     U j             jj   V   o       jV               j
          j                                   j       o                                    VU UVj       V    UVVVjU                                      o               j
          j                                  jU                                                         jV    UVj       Uoj                              jU              j
          j                                  jV j  U V U                                              j  jU  Uooj        Uj            j                  o

             M                                          &
       K  W     MK  &&   W    &  M & W &  W  &M            K &K &W

          M             &   W W
            &     K KM       K  K            &   M  M & W    W

                       K    W  & &&
     &                                  &M



     WWWWWMWWWWWWWWWWWWWWWWMWWWWWWW  WWWWK    WWWWWW         KWMMWW
    MMMMMW&WMWWWWW    WWWWW&WMWWMWW  WMK  MK            &     &&&&M
    MMMMMM&MM&WWWW WW  WMWW&WMWWMWW       MK  KK              &&&&&
    MMMMMM&&M&WWWW KMKKWMWM&WMWWMWW        & WWWK             KKKK&
    MMMMMM&KM&&WWW& MKWWWWMMWMWWMWW          W&WWW&W              K
    MW&MMMM M&KMWWW  WW&WWMMWMWWMWW          WWWWWWM          KKKKK
    &W&MMMM &&KMW& MWWMMMW&&MMWWMWW           WWWKMW           KK
    &W&MMMM &&KMWKWWWWWWW&&MMMWMWWW              KWW&          K
    KW&MMWW &MK&      WMKMKWMMWMWWW              MW& K&&       K
    KWMMWWW &M&MM       KK&WMWWWWWW           KWWKK K  KKK
    KWMMWWW &MK&W       W W&MWWMWWW           MWWWK    KK  &   KK
    KWMMMWWK&MK&W      WWMKMMWWMWWW            WWWWK       KM
    &WMMWWW&&MKM      &WWMMMMWWWWWW           WWWWWW       KMW
    &WMMMWW&MW&      MW WWWMMWWWWWW           WWWWWW&  K K  KMWK
    &W&M&WWM&M&           WMMWWWWWW             MKWWWK       KMM
    &WMM&MWWWW             WMWWWWWW                WWW        &W
    MWWWWWWK               WWWWWWWW                WWM
     MKK     &             MWWWWWWW  &           WWM

       :      :              : :  .  ,  ,    :        ::
                        ,             ,                :
                                     :    ,
                       .   : :                                  :
       :           :   ,           , :             ,       :
                                                .:
    :          :   :
         .     ,                   .            .
                                        . .

     :                             ,:      ::          . .
                                                        ...
                                              ,::. .      .
                                    :   .        ,,,..,.  .
                                       . ,       :   .,..,.. :
                                    .               . ...,   :
                                            .           ..   :
                                     :.               ,,,.   .
                                               :       ,.
                 : :                            :             :
                  . .:                 .   .                  :
                      ,                . .                   ,
                 :                       . .  .               :
                                       .....
                .,,,                   .  .
               : ,:.   .                 .. .            ,
                 :. :, :,.                 :. :         ,,  ,
                : .      :          ,       , .  :              ,,::
               . .  . :             ,       :         :        :

     <  * <<    ~~~~~~*~<<~   *    <~ ~}   ~  <~~ *}~}    <*< } *}*
      ~       *    }   *       *                      }
                                               ~     *       *
         } *}    ~  *}~   <    * }  <  < *** }  }   ~} *  } * }
      * <}<     }             }  }< * <    *}        } < ~<

      } ~  * ~  <<  }   <*~  <     }< <   **
        }  ~ <    <    ***< <<*  }    ~    }}}<<


      ****<*<}}} }**} }}}<*~*<*}<*}  *<<<*<  **<<****}~    ~~***}*~
                                   }}       }<       ***   ~*
                                   }*        ~      < ~}   <*
                      }            }  }  <      ~       ~~
                                   }    ~
                                          ~
                                   }                ~
                                             ~       *
                                                      ~
                ~ ~ *                                    <
                       }                                   ~
                 ~<*~~                     ~                  *
                  <<~}
                <~<}}                       *             }
                                                           *
                ~   <*< }                    ~~<       }~   *      }
              <~~  ~  ~              }<<< }    }~      <
                 ~ }*< ~<              }~~~<   }<          }   *
                   ~     ~                 <   *     *  ~*   *  ~~~~

    U j  V     o           VV    j        o j    j       U   j
    UV  jU V V U  o   o   Vooo    V o   o  Vj  oVoooVU  VVU V  o  V

    UjV o    j oo jj     o      j V  jj j   o j  oUj  j V  U o U
    oo     j V j j      jo  o  U       oVoj   U U U         V oV

     U j  V j j   j  V        V      o  jj  jVV
    o o   U o j oj ooo         o  j jV    o


                j    j
    o                                     VV        U              j
                  U  j                  Vj  o        j   o   V     U
                     o               U      jo               j     V
                  j                       U j                      V
                   U               j       Uj                 UUUU o
           U       jV                                              o
           U      V                j                V         U  UUj
           V                       j          o      U        o UUUj
           U         o             j                U   V       UUUo
           U                       j               U UU   U    UUUUo
           U           o U         j               VUUV  UU o    UUo
                                   j                VUVVUUo  V VUVUo
                     o             o         V      UVoUUU    VoUUUo
               U    o  V           o        Uo       VV U       UUUo
                         U         o                  j         Voo
                          V        o     o        V   j      V  o
            Uo        o   V        o UU           U   Vo    VUU
    V   UUUUU U           o        j  VVVjV     o   V  j  Vjo