Desbloqueando o "Algoritmo" do Twitter - Introdução a Grafos

O Twitter liberou parte do código que chamou de "The Algorithm", que forma o sistema que popula a aba de recomendações "Para Você".

Vamos entender qual é o contexto de ciência da computação e história necessários pra começar a entender esse código todo. E uma pequena introdução à ciência por trás de recomendações e grafos em geral.

Finalmente, vou poder mostrar na prática a diferença de "código de curso" e "código de verdade" e exatamente porque software nunca acaba.

ERRATA

Vira e mexe eu falo nó e vértice mas o correto são nó e arestas. Eu estou acostumado a falar em inglês só nodes e edges e traduzi errado em português.

Capítulos

00:00:00 - Intro
00:00:57 - CAP 1 - Avisos e Descrevendo o Repositório
00:02:51 - CAP 2 - Interpretando Errado: Não Acredite em Blog Posts
00:07:14 - CAP 3 - Derrubando o Meme: Pessoas Idiotas
00:11:30 - CAP 4 - Objetivos do Video: derrubar os Clones. Código de Verdade
00:16:37 - CAP 5 - Entendendo Grafos. Introdução a Relevância
00:21:47 - CAP 6 - Primeira Geração de Relevância: WTF
00:27:49 - CAP 7 - Relevância nos Primórdios da Web: PageRank e HITS
00:35:43 - CAP 8 - Segunda Geração de Relevância: RealGraph e SALSA
00:39:22 - CAP 9 - Escalando com Hadoop e MapReduce: HDFS e Pig
00:43:15 - CAP 10 - Algoritmos Escaláveis de Grafos: Relembrando Mergesort
00:46:58 - CAP 11 - Terceira Geração de Relevância: GraphJet
00:50:36 - CAP 12 - Earlybird: Light Ranker. Apache Lucene
00:51:37 - CAP 13 - Ids para Sistemas Distribuídos: Snowflake
00:55:23 - CAP 14 - Serialização Eficiente sem JSON: Thrift e Protobufs
01:01:07 - CAP 15 - A Controvérsia do "Rails Não Escala". Por que Scala?
01:07:37 - CAP 16 - Introdução a Similarity Clusters: Similaridade de Cosseno
01:16:08 - CAP 17 - Resumindo os demais Projetos: Aplicando o que Aprendemos
01:20:22 - CAP 18 - Qualidade do Código: Mini-Assessment
01:22:43 - CAP 19 - Sendo Educado na Web: Memes Idiotas
01:24:32 - CAP 20 - Refletindo sobre o Código: Lições a Aprender
01:27:31 - Bloopers


Links

* Fio no Twitter (https://twitter.com/AkitaOnRails/stat...)
* Twitter: The Algorithm (https://github.com/twitter/the-algorithm)
* Twitter: The Algorithm ML (https://github.com/twitter/the-algori...)
* Twitter's Recommendation Algorithm (  / twitter-recommendation-algorithm  )
* Steven Tey: # How the Twitter Algorithm works in 2023 (https://steventey.com/blog/twitter-al...)
* Aakash Gupta: The Real Twitter Files: The Algorithm (https://aakashgupta.substack.com/p/th...)
* Earlybird: Real-Time Search at Twitter (https://stephenholiday.com/notes/earl...)
* Twitter Search is Now 3x Faster (  / twitter-search-is-now-3x-faster  )
* Paper: GraphJet: Real-Time Content Recommendations at Twitter (https://www.vldb.org/pvldb/vol9/p1281...)
* Paper: RealGraph: User Interaction Prediction at Twitter (https://www.ueo-workshop.com/wp-conte...)
* Paper: Real-Time Twitter Recommendation: Online Motif Detection in Large Dynamic Graphs (http://www.vldb.org/pvldb/vol7/p1379-...)
* Paper: Discovering Similar Users on Twitter (http://snap.stanford.edu/mlg2013/subm...)
* GitHub: FlockDB (https://github.com/twitter-archive/fl...)
* GitHub: Cassovary (https://github.com/twitter/cassovary)
* GitHub: GraphJet (https://github.com/twitter/GraphJet)
* Twitter: Finagle (https://twitter.github.io/finagle/)
* Apache Avro (https://avro.apache.org/)
* AkitaOnRails: Chatting with Blaine Cook (Twitter) (https://www.akitaonrails.com/2008/6/1...)
* Fireship: Vector databases are so hot right now. WTF are they? (   • Vector databases are so hot right now...  )
* Slideshare: Restrição == Inovação (https://www.slideshare.net/akitaonrai...)
* Elastic: Vector Search (https://www.elastic.co/what-is/vector...)


* Transcript: https://www.akitaonrails.com/2023/04/...
* Podcast: https://podcasters.spotify.com/pod/sh...