Website

Auto-Incrementing IDs: Giving your Data Away

I contracted for a startup going through an accelerator, where one of the teams were building a unique database of user-generated photographs, and these photos were of artwork. Artwork like awesome graffiti, unknown installations, etc., and this data was not available anywhere else on the Internet.

— Phil Sturgeon, philsturgeon.uk

API

As a startup, you often have competitors. Letting those competitors know the size of your data set, and how many users you have in your system, could lead to some pretty embarrassing situations.

— Phil Sturgeon, philsturgeon.uk

API

WWWWWWWWWWWMMMWWWWWWWWWWWWM&                               K   &&&&MM&MM&&MMMMM&&K
WWWWWWWWWWMMMMMWWWWWWWWWWWWWM&                     KMK &K K KKKK&M&&&&KM&MMWWWWWWMWMK
WWWWWWWWWWMMMMMWWWWWWWWWWWWWWWM&                   KKK&K&& KKKKK&&&&K&&&&&MWWWWWWWWMWWWMM&&K K&KK&&K
WWWWWWWWWMM&&&MMWWWWWWWWWWWWWWWWM&                 &&KKKKKKKKKK  K&&&&&&&MWWWWWWWWWWWWWWWWWW&&KK&K &&
WWMMMWWWMM&&&&&&MWWWWWWWWWWWWWWWWW                  K&KKKKK&KK   K&&M&MWMWWWWWWWWWWWWWWWWWMMMWWWMM&&
WWMMMMMMM&&&KKKK&MMWWWWWWWWWWWWWWW                  &&&&&K&& &K  K&&&&&WWWWWWWWWWWWWWWWWWWWMMMWMM&&MK
WWWMMMM&&&KKKK  KK&MWWWWWWWWWWWWWW                  KK&&KKK       K&&WWWWWWWWWWWWWWWWWWWWWWMW&MMM&&KK
WWWMM&&&KKKKKK   KK&MMWWWWWWWWWWWW                  KKKK&&&KK&K   KK&&MWWWWMWWWWWWWWWWWWWWWWWW&MM&KK
WWWMM&&KK          KK&&MWWWWWWWWW                    KKK&&&&KKKKKK  KMWWWWWWWWWWWWWWWWWWWWWWMWMM&KK
WWWM&&KK             KKK&&MMWWWWW                 KK&&&&&&M&&&& K&K  MWWWWWWWWWWWWWMMWWWWWW&&W&&&KK
WWWM&K        KKKKKKK    KK&&MMWM                KK&&KK&K&KKK&&&&K K WMMWWWWWWWWWWWWWWMWWMWWM&K& KK
WWWM&         K&&&K&KK    KKKK&&M               KK&KKK&M&&K&&&&K&  K&MWWWWWWWWWWWWWWWWWWMMWMMMK&KK
WWM&K        K&&&&&&&&&&KKKKKKKK&               KK&&KKKK&&K&&&&&&K&MKWWWWWWWWWWWWWWWWWWWWWWM&MMK&
WM&K          &&MMMMM&&&&&&&&K&&K               K&&&&&&&&&MM&MM&&& MMWWWWWWWWWWWWWWWWWWWMWMM&&&M&&
WM&          K&MMWWWWWWMM&&MM&M&&               &&&K&&K&K&&MMKK&&&&&WMWWWWWWWWWWWWWWWWWWWWWMWWWMM&&K
W&K         KK&MMWWWWWWWWWWWMMM&&               &&&&&KK&K&MWMM&&&&&MWWWWWWWWWWWWWWWWWWWWWWWWWWWWM&&K
&K          K&&MMWWWWWWWWWWWWWWWK               &M&&&&&&M&&&MM&&&&&MMWWWWWWWWWWWWWWWWWWWWWWWWWWWWMMK
&            K&MMWWWWWWWWWWWWWWW                KM&&&MMWWMMMMWMMM&&W&MWWWWWWWWWWWWWWWWWWWWWWWWWW&&KK  K
M             K&MMWWWWWWWWWWWWWW               KK&&&&&MMMM&M&MMM&&MWWWWWWMMWWWWWW&MWWWWWWWWWW&WKK
WM             &&MMWWWWWWWWWWWWW                KK&KKM&  KK&  &&& &KK&MMWWWWK MMMK&K&&&K&MK&K KKK K&KKKK
WWM            K&MMMWWWWWWWWWWWW                 KK                      &KK          KK    K
WWM            K&&MMWWWWWWWWWWWW              K
KMM            KK&MWWWWWWWWWWWWW&                                                    K
WWWW            K&MWWWWWWWWWWWWWW&                                                                          &&K
MWWWW           KK&MWWWWWWWWWWWWWWW                       K&MMWWM&K                KK                  &&WWMMK
  &MM             K&MWWWWWWWWWWWWWWM                       KKKKK                  MWW&
                   K&MWWWWWWWWWWWWWK                                             KMWWWK
                    KK&MMWWWWWWWWWW&                                              &WWM                 K
                      KK&MMWWWWWWWW&K                                              MWMK                K
                        KKMMWWWWWWWMK                     KM&  KK&         &&  K  &&WM&              KKKMKKK
                         K&MMWWWWWWWK           KKK  K&K       KK              & KWW&&&K                 KKK
K                         K&&MMWWWWWM           KKKKK&&K                K&MWKKK K&WMWMK
&                          K&&MMWWWWW  W        KK&&&&M&M&&&& KKKM&MMMMM&&&K K K&MMMMM&                             KK
K                            K&&MMMMW  MM        K&&M&MMMMM&M&MM&MWWWWWWWMKKK && MMWWM&              KM&K&MM&&KKKK&KK
                                 KKKK  W&       KK&&MMMMWWWMWWWWWWWWWWWWW&KK KMM&MWWW&&               K &WWWWWWWWWW&K
                                       &         K&&&&&MMWWWWWWWWWWWWWWWWKK &&&MM&WWWMK             &&&MMWWWMWWWM&M&K

                                   .   .   .                                                                 ::.                                    ....   .
                                  , , .,, . .,,::                                                                    ::,,, ,                         ...   ,
                                  : :: .,  ..,::                                                                           ::, .                    .,,.. .
                                       . .  .:                                                                               : ,  .,. .. .          ....  :
                                   .   , ,.,                                                                                    ,,. :.:,  .          ... ,
                                  :,  , :    ::                                                                                  ::, :,,,:.          .  ,
                                      ,:,:,,.,                                                                                      ::,,. ,.        .  ,
                                      . .  ,                                                                                         :   . .          ,
                                  .       .:                                                                                                       ..
                                 ..        ,                                                                                    :    : :
                                 , ..     ,                                                                                           :,.
                                 :,,.    ,:                                                                                    ::      :
                                 :.,     :                                                                                     :, : :
                                 ,,    .::                                                                                       :.:,,:
                                 ,    .. ,                                                                                     ,. , .  ,
                                 . ..     :                                                                                     ,,                 .
                                 ,.,.     , :                                                                                    ,
                                 .:,.                                                                                            :,                .
                                   , ,    .:                                                                                     ::.
                                   :,     .                                                                                      ::,
                                                                                                      :,,,,,   ,,:,:. :          ::,.               .
                                                    :   ..           ,  ::                        ,                     .,:      ,,,.
                                 .       .         ,,     ..          :,,                      :                 .   .     .:,   :,,..                                  ::,,....,::
                                         ,                         ,   ..                     ::,      .             ::,..,.,.:: :::,,                                   :,.    ..,.
                                                                      :,,,,                 ::.     .                 :,,,,,,,,, ,,: :               .                   :,.    .,:.
                                    ,                                    ,..:            :,       :                   :,,: ::,: :, ::,,               ,                 :,..  ...,.
                                                          :,              ..,             ,      ::                .    ,:   :,::,:   :..       .  ,.  :               :.   .,:,..
                                                                          :              :  .  ,.,.  ,  .,           ,  ,:   :,::: :: :,:       .. .,.                 :.  .,  : :
                                                      .,                  :              :  ,,:   ,               :   ::,,,            ,,     ..... .., :::           :,,.,,:::, ,
           :                          .                                                  ,  ,                        ,,..:           ::,.     ..,,,   .:::           :..,:::::,,.
          :: : :                                                      :                  .  :                      ::                 ::     ,..,::,  ,.,:           :,.,: ::,,. :
          :::::                          :                        :                      .,.,: :                :::                  :::.  ,,,,,,,:. .,,:            ::,:::::,,. ,
          ::::::                         :                                               ,: ::                                        :,.     :,.,:. ,:::             :::::::,,. :
          :::::                                                                          ::  :::                                     ::,, ,:: :..,,. ,::             :::::,,,,,. :
           :::::                                                                         :,:  :::                                    :::, ,,::. .,,, ,:                :::::,,,.,..
             :::                         :                                                :,  ,::                                  :,:,,: ,,:.  .,.. ,::               :::,:,,,.,. .

                               }<<<              < }                                }**<<<<****}*}*<~<}**<*<*                                               ~*}    }}}}}*}}}}}}}}}}}
                                }<         ~                                                               }}}*<<~~~~                                       <      }}} }}}}*}}}}}}}}
                                      ~         }                                                         *}}}**<<****<<~~<                                ~}   }  }}}}} }}}}}}}}}}}
                                  < ~~        }                                                           }}}}}*<*}}  *}}**~~   *~                         *   }}}}} }} }}}}***}*}}}
                                    ~       ~<                                                             }   }***  }*}  }<**<}   ~     }                <}  }           }}}}}}}}}}
                                       ~ ~~<~  ~                                                           } } }}}    }} *}**}<<<   ~                    <}                  }}}}}}}
                                              }                                                            }}}}}}   } }}*****}<<<*<<                    <}                    }}}}}}
                                            <}                                                             *     }  } }}} }***<<~<<*<     ~            <}                    }}}}}}}
                                            ~<                                                           }}    }      ****}*<*~~~~**~}~              ~*                      }}}}}}}
                                            ~}                                                                        }}*}}}<<~~ ~*<~ <             *}                        }}} }
                                           <                                                                          }*****<*<~~~~<}<              }                       } }}}}}}
                                           }}                                                                        }}*****<~~  ~*~} ~             }                   }   }     }}
                                          <<}<                                                                        ***}}*<~~  ~ ~ **             }
                                          <<<                                                                       }}}}*****~~~~      <
                                          ~<<}                                                                       }}}*****<~  ~                                               }}}
                                         ~ ~~<                                                                        }**}***<<~                                                 }
                                             *                                                                        *}}**}}**~~
                                            *                                                                         }}}*}}*}*<<                                               }
  }}}                                                                                                                 }}**}}***<~                                               }}}
   <<}}                                                                                                           *}*} }***}**<<~
    ~~~*}                       ~         ~           *<~   **<<~<~   *}                            }~      ~~~        <**<<<<~~~                                        }}}}}}}}}}
    ~~~~<}}                     *         }        <                  ~    }                   }*~                         ~~~<<~                    }              }*<<<~~~~~~<<<*}
    }~~~~*}                                       ~                      ~~                  }<                               ~~~                             }}}**<<~~~           ~
     *~~~~*                       *               }**<*}        }*<      ~<~}             }}}~          ~}       *<<~           ~                    *   }***<<*<<<<<~~~~
      <~~~<}                             ~        *}*                *     ~<}          }<<<         }            }*<~          ~   ~                 <*<<<<<<<<<<<~<~~~~
      *~~~~*}                            <       } }                   }~    <*         *                         }}*~    ~    ~  ~                    ~~~<<<<<<<<<<<<~~
~~*   <~~~~<}}                      }    <                                   ~*          ~                          <<*~  <<<      ~~~                  ~~<<<<<<<<<<<<~
}}}  }<~~~~~**}                      ~   }            <                    <<~*                                       <<  **<     ~  ~                 ~~~~~<<<<<<<<*<~      ~~ <
   }*<~~~~~~~<*}}                    }   }           ~  <****<*< *<**}<<<~              }      ~ < ~        * *< }         ~<<<~<~~~~~~                ~   ~~<<<<<***<          <
   }*<~~~~~ ~~~~**}                                                                     }    ~~                 }  }<     ~<*<<**<<~~                     ~~~~<<<**<<
   **<~~~~  ~ ~ ~~<*}                    }                          *~ ~}               }    ~~< } }             *<  <}}}   }}} }<~<~~                    ~<<<~<<**<<     ~     ~
   }*<~~~~     ~~~~<*}                                       *<~~~ <}                   ~     ~         }*<<<<<~   <}       }   }}<<~                    ~~<<~<<<<<<~           *
     <~~~~      ~~~~*}                                                                  ~  ~  ~~                               }}}*<~~     ~~~           ~~~<<<<<<<<~~          *
     }<~~~     ~~~~~*}}                  *                                              <  ~~   ~}                               }<<~        ~          ~~~~~<<<<~<~~           <
      *~~~~     ~~~~<*}                  <                                              }   ~~   *                          }   }*<~~                  ~~~<<<<<<<<<~~~~
      }*<~~~~   ~~~~<<}}                                                                 <  ~~   *                             }}*~                     ~~~<<<<<<<<<<~~

                            UVo                   j UVUoUVU UUU                   UV                                                                           jjjj
                              UV                 oV   U  V U                         UVUVoVVVVojoVoojjooooV                                                  jjjjjj   j
                                UV               VU       U                                 U       Voojjj                                                   jjj jj     j
                                               joVU            UU                                 U  UUUVj          oj                                      jjj     j  j
                                  j           ojjUVU          UUU                                   UUoVoVo jjj    jj   oj                                  jj oooojjjjjjj
                                                oUUU        U  UU                                    UUVVoj j j   jooo  j                                  jjjoooojjjjjjjjjjj
              UU                               oVVVU       UUVUVUU                                   UUVVoo      jjj j                                    jjooVVooooojjjjjjjjj
              UUU                             jjoVUV           UUU                                  UVUVojj jjjjj oo j   j                               jooVVVVoooojojjjjjjj
         UUUUUUUUUU              j            jjVUUUU             VU                               UUVVVj  jojj oooooj                                 jjoooVVoVVooooojjjjjjj
        UUUVVUUUUUUUU                         VUUU             U   UU                              UUoooojjjjojojVVVoj                                ojjooVVVVVVVVoooojjjjjjj   j j
      UUVVVVVU       UUUU                   ooUoV                 V U                           U  VVooooooooVVVVVVVVo                               ojjoooVVVVVVoVoooojjjjj j
     UVVVVVVUU        UUUU                   joV                 UU                               UoVoVoooVVVooUVUVVo                j               ooooooVVVVVVVVVoooo jjj jjjjj
     UVooooVV                                 jV                                                 UUUVVVoVVVVVUVUUVVooj                 o             VooooVVVVVUVVVVVojjjjjjjjjjjjjj
    UVVoooVVUU                               joV                  U                               UUUUUVVUUVVUUUVVVo                                jooooVVVUUUUVVVVVooojjjjjjjjjjjj
   UVoooooVVU                                 jV                                                    UVVVVVVUVUUUUVooo                               ojjjoVVUVUUVVVVVVoojoojjjjjjj
   UoooooVVU                                  oU                                                    UVVVoVVVUUVUUVojjj                              VoooooVUUUUUUVVVVoooojjjjjjjj jj
  UVVoooooVU                                  oU                                                    UUUVVVUVVVVUVVVojj                              VooooVVVUUUUUUUVVoooojjjjjjjjjjj
 VooooooooVVU                   U            VVU                                                    UV UUUVVUVUVVUVVoo                              VoooVVVUUUUUUVVVVVooojjjjjjj jjj
 o   joooooVVU                  V           VUU                                                  UUUVUUUUUVVUUUUUUVVoj                              jVooVoVUUUUUUUVVVoooojjjjjjj   j
  o    jjooVVUU                 j          jVVUU       VU   UU   U           U               U   U      UUVVVooVoj    o                             jooooVUUUUUUUUVVVVooojjjjjjjjjjj
   j     jjoVVU                            oVVUUU  VVj   joj       jjj  V   UVUUUUUVUU  UVUU VUooVUo                                                 jjjoVVVUUUUUUVVVoojj          j
   o       joVU                            VUU UUUo                       o oVUUVVVoVUUVVVVVVoj                                                       ooVVVVUVVVVooj
   V       joVU                           jVUVUUUV                         jjVUVVoooV Vjooooj                                                        joooVVojj
    U      jooVU                          oVUVVVoo      joVUUVoj             jojooVUUVVooj                oU   Vo                                     jjj
     U      joVU                   j      oVVVVUoj   jjoVU         oj         jjoVV  Uoj              V       UUUo
jV   U       joVUU                        VVVVUVo j joVUUUU     UUVVojj        jVU    Vo           oUUVUUUUUVUUVoj
   jjj        joVUU                       oVVVUoVVjjoUUVoj                     jV      Uj
   jj          jooVU                U     VVVVVUVVVVVV                         jVU    UVo             V
ojj              joVVU                    oVVVVVUVUUo           V          UUVoVVVU    V        j   jjU joUo o  V
Voj                joVUU             V   joVVVVUUUUVojoVUV   UU   UjoojoVUU  UU VU     U       oVoVVV       VoVo oo
Uoj                  joVU            Uj   ooVVUU   UU   oooVUVU  Voj     joUVUU V               j j jooVV   UUVVV        joj   j
 Vo                   joVU           UUV  oooVVU        UVojj        joV       U       V        oooojooo             oVVooVj joj
 UVoj                 jooVU          UU o oooVVU             U              U U        o        jVooVVVUUUUUVVVoVVUU  UVojojjoj
 UVoj                  joVUUU        UV   oooVVUU                            U  U      V          VoV                UUVVVjjVjjjj
UUVVoj                 jooVUUUUUU    oo   ojoVUU                            V          V          jVVU U             UVVVooj jjj
UUVVoj                  jooVUUUUUUUUUUV U oojoVUU                          U           oj         oV                 UUUVVVVojj

WWWWWMWWWWWM        K&K&&&MMMMWWM&
WWWWMMWWWWWWW&      MM&&&&MMMWWWWWWWWMWW&K
WMMM&&&MWWWWW&      &MMM&K&MWWWWWWWWWWMM&K
WWM&K&KK&WWWW      K&MMMM&&&WWWWWWWWWWM&K
WMK  &&&&&&&W      &MMM&MMKMWWWWWWWWWM&K    KK              K KKK
W&   &MWWMMMW      MMMMMMM&WWWWWWWWWWWM&KKKK&K               KK&KK
M   KMWWWWWWW      WMMMWWMMWWWWWWWWWWWWMKKKKKK                KKKK
M    &MWWWWWW     &MWWWWWWWWWWWWWWWWWWMMMM&&&&              KK&&KK
W    KMWWWWWW    K&&           &K K K                       KK&KK
WW   KMWWWWWWK   &K     K        K         &
 &    K&WWWWWW   KK  K          &WM
        &MWWWWW  KKKK         K KWW      &
K        KMWWWW   K&&M&K     &MMMWW       K
&         K&WWWW  K&MMWMWWWWWW&MWWW     &MWMMMMK
KK         &&KK&   &MMWWWWWWWM&MMWM     MWWWWW&KKK
K          &MMK&  K&MWWWWWWWW&K &WM    KMWWWWWM&
&K          &MMW   &&MMWWWW&&&&MWWW     MWWWWM&
WK           KWW   K&&MWWM KWM           MWWMKK
W&                 &M&MW&KWWWMK         MMWWM&K
WWK               K&M&MM &        &       &&WMK
WW&                K&K&&         KW         &W
WM&                 KKKW&                   KW
&&&K                   &&&&K              MMM
KKK                     KK    K&KK

               ,.:,                          ::,,.         ,,
              ::.,                                  :..    ,,,
                                                     :,    ..
                                                      ..
              , .                                     ,
               .                                    : :
              , ,
             .:                                     :
                     ,,:  .             .           :
                ,          ::         .        :.,:  ,     .        , ,:
                         :,,..:     .  : :..,:    ::  .   ..       :.::.
                      :                        ,,     ,  :,,       ,:
                :                   ,                 , :: .:        : .
                                                      ,, ,:,         : ,
                                                      :,:,,,         : ,
                                    ..               ,..::,:         : ,
                                    .               :,., :,,:        : .
                                                    ::.,:  ,:        :,.
                                                    :::.   .,:       :..
                              :,    :,:             ::,    .,,:      :,.
                          ,           :, ::         ::,    ..,:       ,,
                           :::    :.      ,        : ,,     ..,:     :::
                               : ,,,..,:      ::    : ,       .,:   ..
                                              .    :. :        .,:  .
                   .                         :,   ,. .,        ..,: :.
                   : .         : .  ,        .,,..   .,         ..,,.
               : :::   ,,                  :. ,    ...,        ......
             ::::::    .                  ,       ....            ..
        :::::::::::     ,  ,    :   : ,..        .....

             *     <                        <                 <
                                                 }~~
               ~<<*                                }*  ~
                 ~                                *<}*     ~
             <                                   }*~*
             <  ~                                 <~ ~
             ~   ~                                }~
                 }                                 <
  <                        ~*          *        ~**<       ~        }}
  }*                *<       <       *   *    <    <~          }}**<
   *            ~      }<               ~     **~*  ~<      ~*}}}}*
  }**}          <    * <*<~}<        ~ }   <**   *<<<<      ~<*}} <  <<
  }****}                           * *       **     *<    ~  <** }~~< <
   ****}                           }*<*             *~  *   <**}}*<<~ <
   }}*}}                            ~<<             <~      ~*}}}}*<~ ~
    }}}}}                             <            }<       ~**}}}**~ ~
   }}}}                              }~*           *    ~    <*}}}}*< *
   }}}}                       ~~} *                *         ~<}   }<
   }}}*}}                              }           <          <*    *
    }}**}}    }            }<~  ~  <   *          }<           <}   }
    }}****}}}}           < ***<*    }<  ~  *   }} *~           ~*}  *~
     ********}}  }        *   ~ *~         *   ~}}< ~           ~*}}*
     }*<*<<*<**} *}          ** }       }       **~~             <*~  ~~
      *<<<<<<<<<<<~}                   }     ~ ~<<~               <<
      }*<<<<<<<<<<~ < }}      *}} }}*<<*}   *  ~~~                 ~
       }*<<<<~~~~~~   <**            *}}} }<~
      }*<<<~~~~ ~   ~    *       }**      *
   }}}*<<~~~~      ~      ~}       }}   <~
 }}*<<~~               }    ~<*< ~<* ~

            U                     VooVVVoooj                   VVoooojjj
                  jU                      VoojUoo             VVVVoooooj
                   U                      VoooVoojj          oUUUVVVoooo
             j    V                      VoVoUUojj          VUUUUUVVoooo
   UU            oU                     UUUU  Ujj    o     o U   UVVVooo
  UVU            jV                           Vjjj         VU     VVVooo
 UVU              V                           Uojj         UUU    UVVVVV
 jVUU                                         UVjoj        U      UUUVVV
 o jV               V        VU  U U UV                          Uoj  jo
    o              U  jU Vo   jVU UVo     U Uj              Voj
o o jV        o    Uo U        j   j
Vj    oU                     j U   j  o U j                      j
 o      o      o U      UUVoV         VUUU Uo  UVVVo            j
 Uj     oU      UV                     U        UVVo
  V     jVU     jVU                V   U          Vj
 Uoj     oU     oV             U   V            UUV
  o    jjjoV    VoU                V           UVoj
  o    jjjooU   oVU       U      j      U      UVoj             jjj
  V      jjjjooojVU            Uo              UVVj             jjjj
   j      jjjj joV      U U      U      jU     Vjo               joj
   o          jojoU     U       o  U          U  j                jj
   Uj          oj VU     V     j              j
    V           j  oVUV     V            U   U
   UVj              jjoo  UVUo    VUVjj jooUU
UVUVoo               j  oUUUVj   j       jjj
Voooojj                  oVVVoj          j
oojjjj                    oVUVVjj   ojoojj
jjj                         VoojoVj  joj
j