Xử lý bài toán Streaming - Ứng dụng của Kafka trong lĩnh vực kỹ thuật dữ liệu

Xin chào các bạn, cùng quay trở lại với một tập liên quan tới kỹ thuật dữ liệu (Data Engineering). Trong tập này mình sẽ giới thiệu cho các bạn những trường hợp mà Kafka được ứng dụng để giải quyết các bài toán liên quan tới dữ liệu.

Cũng như cuối video có nhắc tới làm thế nào để tính toán được số lượng Kafka Partition cho một Topic và Consumer để giải quyết bài toán truyền dữ liệu.

Vì thời lượng có hạn và khả năng của Kafka nên video sẽ không thể bao quát hết toàn bộ trường hợp, nên những kiến thức liên quan sẽ được cập nhật tiếp theo. Ngoài ra, các bạn có thể tham khảo các video liên quan tới Streaming và Realtime data processing ở phía dưới:

   • Thiết kế hệ thống near-realtime data ...  
   • Nhìn lại code sau 5 năm - Scrapping d...  

Outline:
00:00 Giới thiệu Apache Kafka
02:50 Ứng dụng Kafka trong bàn toán Data
11:00 Các vấn đề khi làm việc với Kafka
20:56 Phương pháp xử lí data tới trễ
25:09 Tính số lượng Kafka Partition và Consumer


Follow & Subscribe:
   / @longdatadevlog  

Connect here:
https://www.fb.com/datafoundations
  / discord  

For more resources, check out:
📚 Free Data Engineering Handbook
https://de-book.longdatadevlog.com/
📜 Free Roadmap
https://payhip.com/b/0lHY5
💻 My dotfiles - Data Dev Setup
https://github.com/longbuivan/dotfile/
🌐 Tech Blogs
https://longdatadevlog.com/blogs

#dataengineering #softwareengineer #data