Scale Machine Learning System
Triển khai mô hình trí tuệ nhân tạo trên sản phẩm thực tế
Lớp học dành cho kỹ sư AI đã có kiến thức học máy/học sâu nền tảng, muốn triển khai những mô hình mình xây dựng trên sản phẩm, phục vụ nhiều người dùng.
Khai giảng: 02/03/2023
Nắm chắc được kiến trúc CPUs/GPUs/TPUs
Từ đó có thể đưa ra những quyết định đào tạo/ dự đoán một cách phù hợp
Lượng tử hóa/tỉa/nén mô hình
Giảm kích cỡ mô hình nhưng vẫn giữ độ chính xác tốt
500 MB
250 MB
Đào tạo phân tán (Distributed Training)
Đào tạo mô hình trên nhiều máy khác nhau sau đó tổng hợp kết quả
Team ProtonX sử dụng 8GPU A6000 để train 5 triệu câu Tiếng Việt đầy đủ dấu cho trình soạn thảo thông minh ra mắt 4-8-2022. Mục tiêu là model có khả năng sinh dấu tốt nhằm hỗ trợ người dùng soạn thảo văn bản tốt hơn.
Với việc tăng GPU, thời gian training sẽ scale tỉ lệ nghịch, từ 1GPU mất 2 tiếng thì 8GPU với 15 phút, đây cũng là một lý do team chọn cơ chế train để có thể ước lượng được quá trình training khi cần đẩy nhanh tiến độ. Và như nếu bạn biết thời gian training/epoch rất quan trọng để có thể đưa ra những finetune nhanh và phù hợp.
Triển khai mô hình trên máy chủ vật lý
Rất nhiều công cụ bạn cần phải nắm được để đưa mô hình của bạn trực tuyến phục vụ người dùng
Restful API
Học cách trao đổi giao tiếp với máy chủ đề thu thập dữ liệu
MongoDB
Hiểu được cách hoạt động của một trong những cơ sở dữ liệu phi cấu trúc mạnh mẽ nhất
Docker
Công cụ đóng gói mô hình để triển khai hiệu quả trên các mô hình vật lý
Flask
Web Framework giúp bạn trao đổi dữ liệu để đưa mô hình dự đoán
Trọn bộ Google Cloud cho học máy
Kỹ năng sử dụng Cloud để Scale mô hình AI
Xây dựng training Pipeline với DVC + Github
Tự động hóa quá trình training, viết các script automation ở các công đoạn
Điều đặc biệt đây chính là quy trình team ProtonX thiết kế cho sản phẩm AI thực tế của mình có tên gọi là Smart Editor. Rất nhiều kỹ năng bạn có thể học được từ hệ thống này.
