Tạo ra hệ thống quản lý workflow giúp người dùng tự động lên lịch thực thi một công việc bất kỳ và theo dõi các công việc đó. Đồng thời tự động lấy data từ nơi chỉ định, convert data theo mong muốn Enduser và upload file lên bất kỳ hệ thống lưu trữ nào như AWS, Google,..
ĐỊA ĐIỂM: Nhật Bản
LĨNH VỰC: Công nghệ thông tin
THỜI GIAN: Phát triển theo từng version
QUY MÔ: 4.5 MM
DỊCH VỤ: Hỗ trợ xây dựng và vận hành cho cơ sơ hạ tầng phân tích dữ liệu. Gồm 3 yếu tố cấu thành:
- Data Uploader
- Job Management Console
- CS Analytics Desktop & Server
CÔNG NGHỆ NỔI BẬT: [Python], [Golang], [AWS][GCP] [Datawarehouse]
Khách hàng
KHÁCH HÀNG VÀ MỤC TIÊU
Khách hàng của chúng tôi là bộ phận tích hợp dữ liệu (Data Intergration) trong một doanh nghiệp công nghệ thông tin có trụ sở Nhật Bản và là premier partner của AWS.Họ có nhu cầu phát triển 1 nền tảng quản lý và phân tích big data tập trung, thân thiện với người dùng.
THÁCH THỨC
- Khách hàng yêu cầu nghiêm ngặt về bảo mật.
- Khách hàng có kỹ thuật tốt, yêu cầu chất lượng cao
- Cần liên tục cập nhật kỹ thuật mới từ ngôn ngữ lập trình đến công nghệ mới
- Công nghệ về cloud: AWS, GCP
GIẢI PHÁP
- Tạo kế hoạch đào tạo bài bản về AWS kết hợp lấy chứng chỉ cần thiết theo nhu cầu của khách hàng trong vòng 3 tháng.
- Với các kĩ thuật mới khác thì cũng chủ động lên kế hoạch tìm hiểu và lưu trữ tài liệu liên quan, có sự hỗ trợ tích cực của khách hàng trong giai đoạn đầu về review source code để đảm bảo chất lượng. Thời gian đào tạo cơ bản thường trong 1-2 tháng.
Mục tiêu và kết quả
KẾTQUẢPHÍA KHÁCH HÀNG
- Giao hàng đúng tiến độ và đảm bảo chất lượng: Dự án không những hoàn thành đúng tiến độ mà còn đạt tiêu chuẩn chất lượng cao, vượt cả sự mong đợi của khách hàng.
- Sự hài lòng của khách hàng: Khách hàng bày tỏ sự hài lòng với kết quả của dự án, dẫn đến việc tiếp tục hợp tác với Luvina, tiếp tục tin tưởng và lựa chọn Luvina làm đơn vị vận hành bảo trì hệ thống.
- Hợp tác liên tục: Sự hợp tác thành công đã thúc đẩy mối quan hệ lâu dài giữa Luvina và khách hàng.
- Team size: Tăng trưởng từ 3MM lên 12MM
THÀNH TỰU TỪ LUVINA
- Nâng cao kỹ năng: Các thành viên trong nhóm của Luvina đã có được kinh nghiệm quý báu khi làm việc với khách hàng từ các công ty công nghệ, mở rộng chuyên môn và kỹ năng của họ, tiếp cận các công nghệ mới.
- Tool hóa: Tạo ra tool quản lý resource AWS. Đảo bảo không phát sinh chi phí không thiết khi sử dụng resource AWS
Tổng quan kỹ thuật
Sử dụng Amazon Web Service:
- Lambda: Tạo func API
- RDS: DB quản lý job.
- EFS: Storage lưu trữ thiết định job và log nội bộ app JMC. Run container của Docker
- Backup: Get backup của EFS và RDS mà app JMC sử dụng
- SQS: Queue sử dụng khi app JMC run job
- CloudFront : Service CDN
- SNS: Gửi thông báo Email
- ECR: Repo quản lý image Docker
- Codebuild: Build image Docker và push lên ECR
- API Gateway: WebAPI
- Congnito: Xác thực password
- S3: Lưu trữ log run job và thông tin tạm thời của app JMC. Lưu trữ SPA
- EC2: Run service ECS, task container của app JMC
