ClickHouse là gì? Cách cài đặt và sử dụng ClickHouse trên Ubuntu 20.04

Các doanh nghiệp hiện nay đang đối mặt với thách thức lớn trong việc xử lý và phân tích lượng dữ liệu khổng lồ được tạo ra hàng ngày. ClickHouse cung cấp một giải pháp hiệu quả để giải quyết vấn đề này, giúp các doanh nghiệp đưa ra quyết định kinh doanh nhanh chóng và chính xác hơn. Vậy cụ thể Clickhouse là gì? Bài viết này sẽ hướng dẫn bạn cách cài đặt và sử dụng ClickHouse trên Ubuntu 20.04.

Tổng quan về ClickHouse

ClickHouse là gì?

ClickHouse là một hệ thống quản lý cơ sở dữ liệu hướng cột mã nguồn mở, được thiết kế để xử lý và phân tích lượng dữ liệu lớn với hiệu suất cao. Được phát triển bởi Yandex, một công ty công cụ tìm kiếm lớn của Nga, ClickHouse có khả năng xử lý hàng tỷ hàng dữ liệu và thực hiện các truy vấn phức tạp theo thời gian thực.

Điểm nổi bật của ClickHouse là khả năng mở rộng, tốc độ truy vấn nhanh và khả năng xử lý các tập dữ liệu khổng lồ, giúp các tổ chức và doanh nghiệp phân tích dữ liệu một cách hiệu quả, từ đó hỗ trợ đưa ra các quyết định kinh doanh quan trọng.

Các tính năng nổi bật của ClickHouse

Lưu trữ dữ liệu theo cột

ClickHouse sử dụng kiến trúc lưu trữ theo cột, cho phép lưu trữ tất cả các giá trị của một cột gần nhau trong bộ nhớ. Điều này giúp tăng tốc độ truy vấn và phân tích dữ liệu, đặc biệt là khi chỉ cần truy xuất một số cột nhất định trong các truy vấn phân tích. Đồng thời cũng giúp cải thiện khả năng nén dữ liệu, vì các cột thường chứa nhiều giá trị giống nhau.

Hiệu suất cao

ClickHouse được tối ưu hóa để thực hiện các truy vấn phức tạp với tốc độ rất nhanh. Hệ thống sử dụng kỹ thuật thực thi truy vấn vector hóa, cho phép xử lý đồng thời nhiều cột dữ liệu, từ đó tăng cường hiệu suất và khả năng mở rộng. Các thuật toán tối ưu hóa như MergeTree và các chỉ mục vật lý giúp giảm thiểu thời gian truy cập dữ liệu.

Phân tán và khả năng mở rộng

ClickHouse hỗ trợ kiến trúc phân tán, cho phép dữ liệu được lưu trữ trên nhiều nút khác nhau. Điều này không chỉ giúp xử lý khối lượng lớn dữ liệu mà còn cho phép thực hiện các truy vấn song song trên nhiều lõi CPU, nâng cao đáng kể hiệu suất tổng thể của hệ thống.

Phân tích thời gian thực

Một trong những điểm mạnh của ClickHouse là khả năng phân tích thời gian thực. Hệ thống có thể cung cấp thông tin chi tiết về dữ liệu ngay khi nó được tạo ra, rất hữu ích cho các ứng dụng cần giám sát và phân tích dữ liệu theo thời gian thực như quảng cáo trực tuyến, thương mại điện tử và tài chính.

Tính năng nén dữ liệu

ClickHouse áp dụng nhiều phương pháp nén khác nhau để giảm kích thước lưu trữ của dữ liệu. Các codec chuyên dụng cho từng loại dữ liệu giúp tối ưu hóa tỷ lệ nén, từ đó giảm chi phí lưu trữ và tăng tốc độ truyền tải dữ liệu.

Hỗ trợ SQL

ClickHouse hỗ trợ cú pháp SQL tương tự như ANSI SQL, cho phép người dùng dễ dàng viết và thực hiện các truy vấn phức tạp. Hệ thống cũng hỗ trợ nhiều hàm tổng hợp và chức năng phân tích nâng cao như GROUP BY, JOIN và cửa sổ (window functions).

Chỉ mục thông minh

ClickHouse sử dụng các chỉ mục chính và chỉ mục bỏ qua dữ liệu để tối ưu hóa quá trình tìm kiếm. Dữ liệu được sắp xếp theo khóa chính giúp truy xuất nhanh chóng các giá trị hoặc phạm vi giá trị cụ thể với độ trễ thấp.

Khả năng tích hợp

ClickHouse dễ dàng tích hợp với nhiều hệ thống khác nhau như Apache Kafka và Apache Spark, tạo điều kiện thuận lợi cho việc xây dựng các pipeline dữ liệu phức tạp. Điều này giúp ClickHouse trở thành một phần quan trọng trong các hệ thống phân tích dữ liệu lớn hiện đại.

Quản lý quyền truy cập

Hệ thống cung cấp khả năng quản lý tài khoản người dùng và kiểm soát quyền truy cập dựa trên vai trò (role-based access control), tương tự như các hệ quản trị cơ sở dữ liệu phổ biến khác, đảm bảo an toàn và bảo mật cho dữ liệu.

Mã nguồn mở và cộng đồng hỗ trợ mạnh mẽ

ClickHouse là một dự án mã nguồn mở, điều này cho phép cộng đồng người dùng và các nhà phát triển đóng góp và cải tiến sản phẩm liên tục. Việc được phát triển và cải tiến bởi cộng đồng rộng lớn đảm bảo rằng ClickHouse luôn có các tính năng mới và được cập nhật để đáp ứng các nhu cầu thay đổi của người dùng.

Khi nào nên và không nên sử dụng ClickHouse?

Trường hợp nên sử dụng ClickHouse

Nếu được sử dụng đúng cách trong các trường hợp phù hợp, ClickHouse là một giải pháp vượt trội so với các đối thủ cạnh tranh. ClickHouse được thiết kế cho các ứng dụng OLAP (Online Analytical Processing), bao gồm một số tối ưu hóa để đọc dữ liệu và xử lý các yêu cầu phức tạp với tốc độ cao.

Bạn sẽ tận dụng tối đa ClickHouse nếu:

• Bạn làm việc với khối lượng dữ liệu khổng lồ (được đo bằng terabyte) được viết và đọc liên tục
• Bạn có các bảng với số lượng cột khổng lồ nhưng giá trị của cột tương đối ngắn
• Dữ liệu của bạn được cấu trúc tốt và chưa được tổng hợp
• Bạn chèn dữ liệu thành các lô lớn trên hàng nghìn dòng, một triệu là một con số tốt
• Phần lớn các thao tác là đọc với tổng hợp
• Đối với việc đọc, bạn xử lý số lượng lớn hàng nhưng số lượng cột khá thấp
• Bạn không cần sửa đổi dữ liệu sau này
• Bạn không cần truy xuất các hàng cụ thể
• Bạn không cần giao dịch.

Ví dụ: Yandex sử dụng hơn 500 máy chủ với 25 triệu bản ghi mỗi ngày. Một công ty khác sử dụng ClickHouse là Bloomberg, có hơn một trăm máy chủ và khoảng một nghìn tỷ bản ghi mới mỗi ngày.

Trường hợp không nên sử dụng ClickHouse

Mặc dù ClickHouse là một công cụ phân tích dữ liệu mạnh mẽ nhưng vẫn có một số hạn chế cần được xem xét trước khi sử dụng.

Không phù hợp cho OLTP: ClickHouse được tối ưu hóa cho việc đọc và phân tích dữ liệu, không phải cho việc cập nhật và sửa đổi dữ liệu. Nếu bạn cần thực hiện các giao dịch trực tuyến thường xuyên, ClickHouse không phải là lựa chọn tốt nhất.

• Khó khăn trong việc sửa đổi dữ liệu: Mặc dù có thể xóa các khối dữ liệu lớn từ ClickHouse, nhưng quá trình này không nhanh chóng và có thể ảnh hưởng đến hiệu suất.
• Không hiệu quả trong việc truy xuất dữ liệu từng hàng: Do sử dụng chỉ mục thưa thớt, ClickHouse không nhanh chóng trong việc tìm kiếm và truy xuất các hàng riêng lẻ theo khóa.
• Hỗ trợ hạn chế cho giao dịch ACID: ClickHouse không hỗ trợ đầy đủ các giao dịch ACID, có thể gây ra vấn đề trong một số trường hợp.
• Không phải là cơ sở dữ liệu khóa-giá trị hoặc định hướng tài liệu: ClickHouse được thiết kế để lưu trữ và phân tích dữ liệu theo cấu trúc bảng cố định. Nếu bạn cần lưu trữ dữ liệu không cấu trúc hoặc thực hiện các truy vấn phức tạp dựa trên nội dung của dữ liệu, ClickHouse có thể không phù hợp.

Cách cài đặt và sử dụng ClickHouse trên Ubuntu 20.04

Yêu cầu trước khi cài đặt

• Hệ điều hành: Ubuntu 20.04 đã cài đặt
• Người dùng: Một tài khoản người dùng có quyền sudo
• RAM: Tối thiểu 2GB RAM (khuyến nghị cao hơn)
• Firewall: Cấu hình firewall để cho phép truy cập vào cổng của ClickHouse (thường là 8123)

Cài đặt ClickHouse trên Ubuntu 20.04

Bước 1: Cập nhật hệ thống

Trước tiên, bạn cần cập nhật các gói phần mềm của hệ thống để đảm bảo rằng tất cả đều đang ở phiên bản mới nhất. Mở Terminal và chạy lệnh sau:

sudo apt update && sudo apt upgrade -y

Bước 2: Thêm kho lưu trữ của ClickHouse

ClickHouse không có sẵn trong các kho lưu trữ mặc định của Ubuntu, vì vậy bạn cần thêm kho lưu trữ chính thức của ClickHouse. Chạy các lệnh sau để thêm kho lưu trữ:

sudo apt install -y apt-transport-https ca-certificates dirmngr
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv E0C56BD4
echo "deb https://repo.clickhouse.com/deb/stable/ main/" | sudo tee /etc/apt/sources.list.d/clickhouse.list
sudo apt update

Bước 3: Cài đặt ClickHouse

Sau khi thêm kho lưu trữ, bạn có thể cài đặt ClickHouse bằng lệnh sau:

sudo apt install -y clickhouse-server clickhouse-client

Bước 4: Khởi động dịch vụ ClickHouse

ClickHouse có hai thành phần chính là clickhouse-server và clickhouse-client. Sau khi cài đặt, bạn cần khởi động dịch vụ clickhouse-server bằng lệnh:

sudo systemctl start clickhouse-server

Để dịch vụ tự động khởi động cùng hệ thống, bạn có thể bật dịch vụ với lệnh:

sudo systemctl enable clickhouse-server

Bước 5: Kiểm tra trạng thái dịch vụ

Để kiểm tra xem dịch vụ clickhouse-server đã chạy thành công hay chưa, bạn có thể dùng lệnh:

sudo systemctl status clickhouse-server

Nếu dịch vụ đang chạy, bạn sẽ thấy trạng thái active (running).

Bước 6: Thiết lập mật khẩu cho người dùng mặc định

Mặc định, ClickHouse không yêu cầu mật khẩu cho người dùng mặc định. Để thiết lập mật khẩu, bạn cần chỉnh sửa tệp users.xml:

Mở tệp users.xml để chỉnh sửa:

sudo nano /etc/clickhouse-server/users.xml

Tìm dòng <password></password> và thay thế bằng dòng sau (thay “MyPassword” bằng mật khẩu bạn muốn):

<password>MyPassword</password>

Lưu và đóng tệp, sau đó khởi động lại dịch vụ ClickHouse để áp dụng thay đổi:

sudo systemctl restart clickhouse-server

Sử dụng ClickHouse

Sau khi cài đặt và khởi động clickhouse-server, bạn có thể bắt đầu sử dụng ClickHouse với clickhouse-client.

Bước 1: Kết nối với ClickHouse Server

Mở clickhouse-client bằng cách chạy lệnh:

clickhouse-client --password

(password là mật khẩu bạn đặt ở trên).

Sau khi chạy lệnh trên, bạn sẽ thấy dấu nhắc lệnh của ClickHouse (:)), nơi bạn có thể bắt đầu chạy các truy vấn SQL.

Bước 2: Tạo cơ sở dữ liệu

Để tạo một cơ sở dữ liệu mới trong ClickHouse, bạn có thể sử dụng lệnh:

CREATE DATABASE test_db;

Để kiểm tra các cơ sở dữ liệu có sẵn, bạn có thể dùng lệnh:

SHOW DATABASES;

Bước 3: Tạo bảng

Bạn có thể tạo một bảng trong cơ sở dữ liệu test_db như sau:

USE test_db;
CREATE TABLE user_data (
id UInt32,
name String,
age UInt8
) ENGINE = MergeTree()
ORDER BY id;

Trong ví dụ trên, bảng user_data có ba cột: id, name, và age. Bảng này sử dụng MergeTree là engine chính, với khóa ORDER BY id.

Bước 4: Thêm dữ liệu vào bảng

Sau khi tạo bảng, bạn có thể thêm dữ liệu vào bảng user_data:

INSERT INTO user_data VALUES (1, 'Nguyen Van A', 30), (2, 'Le Thi B', 25);

Bước 5: Truy vấn dữ liệu

Để truy vấn dữ liệu từ bảng user_data, bạn có thể dùng lệnh:

SELECT * FROM user_data;

Lệnh này sẽ hiển thị tất cả các bản ghi trong bảng user_data.

Bước 6: Xóa bảng và cơ sở dữ liệu

Nếu bạn muốn xóa bảng user_data, bạn có thể sử dụng lệnh:

DROP TABLE user_data;

Để xóa toàn bộ cơ sở dữ liệu test_db:

DROP DATABASE test_db;

Kết luận

Tóm lại, ClickHouse là một công cụ không thể thiếu cho các nhà khoa học dữ liệu và các doanh nghiệp muốn khai thác sức mạnh của dữ liệu lớn. Với tốc độ, độ tin cậy và khả năng mở rộng, ClickHouse đang ngày càng trở nên phổ biến và được ứng dụng rộng rãi trong nhiều lĩnh vực khác nhau.

Những câu hỏi thường gặp