Một bức ảnh màu bao gồm các kênh màu: đỏ, xanh lá cây, và xanh dương. Bạn đọc hẳn không xa lạ với các tương tác với từng điểm ảnh thông qua thao tác với mảng, ma trận numpy. Tuy nhiên, làm thế nào để ta có thể chia hình ảnh ra thành các thành phần riêng biệt?

Và các bạn có thể đoán rằng, chia trong tiếng Anh là split. Do đó, hẳn có hàm cv2.split nào đó tồn tại để làm công việc này. Trước hết, chúng ta sẽ quan sát bức ảnh phong cảnh về mùa hè dưới đây, bao gồm màu đỏ của hoa phượng hay màu xanh nước biển của bình nước trên trần tòa nhà, vân vân và mây mây. So với bức ảnh gốc, các kênh màu có sự chuyển biến giá trị màu rõ rệt trong khoảng giá trị mà chúng biểu diễn. Chúng ta sẽ cùng phân tích đoạn mã dưới đây.

Dòng 1-12, chúng ta làm tương tự như các bài học trước. Tuy nhiên, ở dòng 14, ta sẽ sử dụng hàm cv2.split để chia giá trị kênh màu vào các biến tương ứng: r, g và b. Thông thường thì chúng ta sẽ nghĩ ngay tới thứ tự RGB, tuy nhiên, opencv lưu trữ ảnh RGB như mảng numpy ở trình tự ngược lại: trình tự BGR.

Dòng 16-19 hiển thị các bức ảnh lấy ra từ kênh màu tương ứng. Bên cạnh đó, bạn đọc có thể sử dụng cv2.merge – dòng 21, để ghép các kênh màu thành bức ảnh đọc vào ban đầu bằng cách truyền vào các giá trị lấy giá theo thứ tự tương ứng lúc ta đọc ảnh.

Một phương pháp khác để hiển thị kênh màu đó là chúng ta sẽ chỉ hiển thị giá trị thực của kênh màu. Trước hết, chúng ta vẫn sử dụng cv2.split để lấy ra các giá trị thành phần của bức ảnh. Sau đó, ta tạo lại bức ảnh với cài đặt toàn bộ các điểm ảnh khác ngoài giá trị kênh màu hiện tại thì đều bằng 0. Ở dòng 24, khởi tạo một ma trận z với kích thước là bức ảnh đang xét với giá trị tất cả các điểm ảnh là 0. Tiếp đó, để có thể tạo kênh màu đỏ được biểu diễn trong ảnh, ta gọi hàm cv2.merge để ghép kênh màu đỏ với hai kênh màu còn lại nhưng có giá trị điểm ảnh bằng 0. Ta thực hiện tương tự với các trường hợp còn lại ở dòng 26-27. Như vậy, ta thu được kết quả với kênh màu mà mỗi thành phần ảnh biểu diễn như sau:

Trong chuỗi bài học đọc về thị giác máy tính qua opencv và numpy, chúng ta mới chỉ tìm hiều về hệ màu RGB, tuy nhiên trong thực tế, có rất nhiều các hệ màu khác nhau được sử dụng rộng rãi. Hệ màu HSV – Hue-Saturation-Value, rất gần với cách mà còn người nghĩ và tiếp nhận màu sắc. Bên cạnh đó còn có hệ màu L*a*b*có thể điều chỉnh cách mà chúng ta cảm nhận màu sắc. OpenCV hỗ trợ rất nhiều hệ màu trong số đó. Và việc hiểu được cách con người cảm nhận màu sắc để áp dụng cho máy tính tiếp nhận vẫn còn là một trong những bài toán được nghiên cứu sôi nổi. Chi tiết hơn thì các bạn có thể tham khảo bài viết mở đầu của chuỗi bài này để có thêm góc nhìn về cách màu sắc hoạt động. Để không đi vào chi tiết quá trình cảm nhận màu sắc, chúng ta sẽ cùng nhau tìm hiểu về cách chuyển đổi hệ màu trong OpenCV. Ngoài ra, nếu bạn đọc nghĩ thị giác máy tính nên sử dụng một hệ màu khác ngoài RGB thì hãy thử nghiệm và thảo luận với mình nhé, còn đánh giá chi tiết sẽ được trình bày ở các bài đọc sau. Bây giờ, chúng ta sẽ tìm hiều về một số hàm hỗ trợ chuyển đổi hệ màu:

Dòng 1-13, ta thực hiện khai báo thư viện, định nghĩa tham số đầu vào, đọc và hiển thị hình ảnh. Tiếp đó, ở dòng 15, chúng ta chuyển đổi ảnh từ hệ màu RGB qua ảnh xám bằng cách cài đặt cờ cv2.COLOR_BGR2GRAY. Chuyển đổi qua hệ màu HSV và L*a*b* tương tự ở dòng 18-22. Kết quả đoạn mã thu được như sau:

Vai trò của hệ màu trong xử lý ảnh và thị giác máy tính vô cùng quan trong, tuy nhiên cũng khá phức tạp. Nếu bạn đọc vừa mới bắt đầu tu luyện bộ môn này, mình nghĩ rằng nghiên cứu xoay quanh hệ màu RGB không phải là ý tồi. Hẹn gặp lại bạn đọc ở bài học sau.

Trong bài học này, chúng ta sẽ tìm hiểu về thao tác bit trên ảnh và ứng dụng của các thao tác này vào kỹ thuật masking – mặt nạ, cho phép chúng ta lọc ra vùng quan trọng, xác định vật thể trong ảnh.

1.Thao tác bit trong xử lý ảnh

Bạn đọc chắc hẳn không hề xa lạ gì khi nhắc tới các phép toán với bit. Trong trường hợp bạn là người mới tìm hiểu, thao tác bit gồm 4 phép toán sau: AND, OR, XOR và NOT. Thao tác bit hoạt động với các phép toán nhị phân gồm hai kết quả là 0, hoặc 1. Chúng ta có thể hình dung với điểm ảnh “tắt” khi giá trị của nó bằng 0, và điểm ảnh “bật” khi giá trị điểm ảnh lớn hơn 0. Chúng ta sẽ bắt đầu tìm hiểu kỹ hơn qua ví dụ sau:

Ở dòng 1-2, ta thực hiện khai báo thư viện sử dụng, bao gồm: opencv và numpy. Tiếp đó, chúng ta khởi tạo một ma trận số 0 có kích thước 300×300 qua dòng 4. Sau đó, ta vẽ một hình vuông màu trắng có kích thước 250×250, (275 – 25 = 250), ở trung tâm bức hình. Hàm vẽ hình này đã được trình bày trong các bài viết hướng dẫn vẽ hình. Chúng ta thực hiện tương tự khi vẽ hình tròn ở dòng 8-10. Kết quả của đoạn mã:

Nhắc lại một chút về phép toán trên bit, bạn đọc có thể theo dõi qua bảng kết quả sau:

Ở phần tiếp sau đây, chúng ta sẽ sử dụng ví dụ phía trên về hình vuông và hình tròn để thực hiện các phép toán bit

Như mình đã đề cập ở trên, điểm ảnh “bật” nếu nó có giá trị lớn hơn 0, và “tắt” khi giá trị bằng 0. Các hàm tính bit trong opencv thực hiện dựa trên các điều kiện này. Để có thể thực hiện phép tính bit, ta giả định (phần lớn trường hợp) thực hiện qua việc so sánh hai điểm ảnh (ngoại lệ duy nhất ở phép NOT). Chúng ta sẽ so sánh mỗi điểm ảnh và thực hiện biểu diễn bit như sau:

+AND: trả về là đúng – true, nếu cả hai giá trị điểm ảnh đều lớn hơn 0

+OR: trả về là đúng – true, nếu một trong hai giá trị điểm ảnh lớn hơn 0

+XOR: trả về là đúng – true, khi một trong hai giá trị điểm ảnh lớn hơn không, không bao gồm cả hai.

+NOT: thực hiện đảo ngược giá trị “bật” và “tắt” điểm ảnh

Ở dòng 11, ta thực hiện hàm cv2.bitwise_and, phép AND giữa hình vuông và hình tròn. Như vậy, hàm này trả về là đúng khi và chỉ khi cả hai giá trị điểm ảnh đều lớn hơn 0. Kết quả bạn đọc có thể theo dõi qua hình dưới với cửa sổ AND. Chúng ta thấy rằng là các góc của hình vuông mất đi, thay thế bằng đường tròn – 0 AND 0 = 0. Kế đó là phép OR với kết quả thu được là hình vuông và hình tròn màu trắng kết hợp lại với nhau. Hai phép toán còn lại, bạn sẽ theo dõi được qua kết quả dưới đây:

2.Kỹ thuật mặt nạ – masking

Trong phần tìm hiểu phía trên, chúng ta đã cùng nhau tìm hiểu các hàm thao tác bit. Bây giờ, chúng ta đã sẵn sàng đi vào kỹ thuật masking – một kỹ thuật đơn giản mà vô cùng hiệu quả, phổ biến trong xử lý ảnh. Sử dụng mặt nạ cho phép chúng ta chú ý duy nhất vào một vùng trên bức ảnh. Để có thể dễ dàng hình dung hơn, hãy giả sử rằng bạn đọc muốn xây dựng một hệ thống nhận diện khuôn mặt. Vùng trên ảnh mà chúng ta muốn thu được chính là vùng chứa khuôn mặt. Do đó, việc xây dựng một mặt nạ – mask, cho phép ta hiển thị duy nhất hình ảnh khuôn mặt. Chúng ta sẽ đi vào chi tiết hơn qua ví dụ sau:

Với bức ảnh ở góc trên cùng bên trái, bạn đọc có thể thấy rằng có khá nhiều vật thể, khung cảnh diễn ra. Tuy nhiên, mình chỉ muốn lấy ra tổng quan nội dung như căn nhà cổ cùng một vài cây hoa phượng. Chúng ta có thể dễ dàng sử dụng phương pháp cắt ảnh ở bài học trước để trích xuất ra khu vực này, hoặc, chúng ta có thể sử dụng mặt nạ vào đây.

Bức ảnh trên cùng phía bên phải là mặt nạ mà mình sẽ sử dụng – hình vuông trắng ở giữa ảnh. Bằng cách sử dụng mặt nạ, chúng ta sẽ thu được bức ảnh ở phía dưới bao gồm ngôi nhà cũ kèm theo một ít hoa phượng.

Chúng ta sẽ cùng nhau xem xét đoạn mã sau đây:

Dòng 1-13, ta thực hiện các thao tác quen thuộc: khai báo thư viện, định nghĩa tham số truyền vào, và hiển thị bức ảnh.

Tiếp đó, chúng ta tạo một mặt nạ – mask, với kích thước như bức ảnh truyền vào – dòng 15. Để có thể vẽ được hình vuông, trước hết chúng ta cần tính tọa độ tâm của hình ảnh đầu vào bằng cách chia đôi chiều ngang và chiều dọc qua dòng 16. Cuối cùng, ta vẽ tứ giác ở dòng 17.

Bạn đọc nhớ lại hàm bitwise_and ở phần 1, đây là một hàm được sử dụng thường xuyên khi chúng ta đặt mặt nạ vào bức ảnh cần xử lý – thực hiện tại dòng 21. Phép AND trả về là true – đúng, với tất cả giá trị trong ảnh gốc, tuy nhiên, phần quan trọng là từ khóa mask. Bằng cách sử dụng từ khóa mask, cv2.bitwise_and sẽ xử lý điểm ảnh “bật” trong mặt nạ – trong ví dụ là phần hình vuông màu trắng trong mặt nạ. Chúng ta sẽ theo dõi thêm một ví dụ nữa tương tự khi thay phần “bật” trong mặt nạ thành hình tròn:

Như vậy, ảnh thu được sau khi áp dụng mặt nạ có thể là đa giác, mà cũng có thể là hình tròn tùy theo việc bạn đọc cài đặt điểm “bật” trong mặt nạ. Kỹ thuật này hiện tại có vẻ không thú vị lắm so với việc ta có thể sử dụng ngay phương pháp cắt ảnh, tuy nhiên bạn đọc sẽ quay lại đây khi chúng ta bàn luận tới histograms. Các điểm quan trọng trong mặt nạ giúp việc tính toán vào vùng mà chúng ta chọn lựa dễ dàng hơn rất nhiều ở các bài học tiếp theo.

Qua các bài học trước, chúng ta đã nắm được các thao tác xử lý cơ bản với ảnh số và cách tương tác, thay đổi giá trị của từng điểm ảnh. Trong nhóm bài này, bạn đọc và tôi sẽ cùng nhau tìm hiểu thêm một số phương pháp biến đổi ảnh số cơ bản như: phép dịch, phép xoay, thay đổi kích thước, lật ảnh hay cắt ảnh số.

1.Phép dịch

Phương pháp đầu tiên mà chúng ta sẽ tìm hiểu là phép dịch ảnh. Phép dịch cho phép dịch chuyển bức ảnh, hay nói cách khác là dịch chuyển ma trận theo trục tung, và trục hoành. Bằng cách sử dụng phương pháp này, bức ảnh có thể dễ dàng di chuyển lên, xuống, qua trái, qua phải theo cách mà chúng ta mong muốn. Ta sẽ cùng nhau phân tích cách sử dụng dưới đây:

Dòng 1-13, khai báo thư viện sử dụng, và định nghĩa tham số truyền vào và đọc ảnh như ví dụ đã được trình bày trong các bài học trước.

Phép dịch ảnh được thực hiện dòng 15-17. Chúng ta bắt đầu bằng định nghĩa dịch chuyển là s1 – ma trận chứa thông tin về số điểm ảnh ta muốn dịch chuyển qua phải hoặc trái, lên trên hoặc xuống dưới. Thông tin này sau đó sẽ được áp dụng vào bức ảnh cần thực hiện biến đổi.

Ta có thể thấy rằng cấu trúc định nghĩa dịch chuyển là một ma trận gồm 2 thành phần:

[1, 0, tx]: tx là số lượng điểm ảnh ta muốn dịch bức ảnh qua trái hoặc phải. tx < 0 sẽ dịch bức ảnh qua trái và tx > 0 sẽ dịch bức ảnh phải

[0, 1, ty]: ty là số lượng điểm ảnh ta muốn dịch bức ảnh lên trên hoặc xuống dưới, ty < 0 dịch bức ảnh lên trên và ngược lại

Như vậy, chúng ta thấy rằng định nghĩa tx = 25 và ty = 50 sẽ dịch bức ảnh qua 25 điểm ảnh về phía bên phải và dịch bức ảnh xuống 50 điểm ảnh.

Sau khi định nghĩa ma trận dịch chuyển, phép dịch sẽ được chính thức thực hiện ở dòng 16 qua hàm cv2.warpAffine. Tham số đầu tiên hàm này nhận vào là bức ảnh ta muốn biến đổi, sau đó là ma trận dịch được định nghĩa – s1. Cuối cùng là tham số về chiều của bức ảnh đầu vào (số cột và số dòng). Bạn đọc có thể thử nghiệm thêm nhiều cách dịch khác nhau như ví dụ dòng 19-21. Kết quả chúng ta thu được như sau:

2.Phép xoay

Phương pháp thứ hai chúng ta tìm hiểu là phép xoay ảnh. Phương pháp này cho phép ta xoay ảnh theo một góc độ được định nghĩa

Dòng 1-13 định nghĩa và đọc ảnh như ở các ví dụ trước. Để có thể xoay một bức ảnh, chúng ta đặc biệt cần chú ý tìm ra tọa độ tâm mà ta muốn xoay bức ảnh, do đó opencv hỗ trợ người dùng định nghĩa dễ dàng tâm điểm này. Dòng 15-16, ta lấy kích thước bức ảnh và chia đôi để được tọa độ điểm chính giữa của bức ảnh. Thay vì phải định nghĩa ma trận xoay numpy như ở phép dịch, opencv cung cấp hàm cv2.getRotationMatrix2D – nhận 3 tham số đầu vào gồm tọa độ tâm điểm ta muốn xoay hình, sau đó là giá trị góc ta muốn xoay từ tâm và cuối cùng là kích thước bức ảnh.

Như vậy, với tham số thứ hai là 45, ta hiểu rằng bức ảnh ban đầu được xoay theo góc 45 độ và hình ảnh xoay giữ nguyên kích thước ban đầu khi tham số thứ ba là 1.0 và bị chia đôi khi bằng 0.5 hay gấp đôi với giá trị là 2.0. Tuy nhiên việc thay đổi kích thước ảnh sẽ được bàn luận ở phần sau của bài học.

Khi mà ta đã có được ma trận định nghĩa phép xoay, ta thực hiện biến đổi ảnh qua hàm cv2.warpAffine ở dòng 19. Kết quả mà chúng ta thu được như sau:

3.Thay đổi kích thước

Sau phép dịch và phép xoay ảnh, chúng ta sẽ tiếp tục tìm hiểu phương pháp thay đổi kích thước ảnh. Chắc hẳn bạn đọc không hề xa lạ với hàm cv2.resize, tuy nhiên chúng ta sẽ nghiên cứu kĩ hơn về các tham số sử dụng trong hàm qua ví dụ sau:

Dòng 1-13 thực hiện thao tác quen thuộc: khai báo thư viện, định nghĩa tham số, đọc và hiển thị bức ảnh. Phần thú vị bắt đầu ở dòng 15-16, để có thể thay đổi kích thước ảnh số, chúng ta cần chú ý tới tỉ lệ khung hình – mối quan hệ giữa số hàng và số cột của ma trận biểu diễn hình ảnh. Nếu bạn đọc không chú ý tới hai yếu tố này, sai sót trong tỉ lệ khung hình thay đổi kích thước sẽ dẫn đến kết quả ảnh hiển thị không theo ý muốn.

Việc tính toán tỉ lệ khung hình được xử lý tại dòng 15. Ở đây, chúng ta định nghĩa ảnh mới có số cột là 200 điểm ảnh. Để có thể tính tỉ lệ khung hình – số hàng ma trận mới so với hiện tại, ta định nghĩa giá trị r = 200 chia số cột – rs_img.shape[1]. Khi đã có tỉ lệ khung hình, chúng ta tính chiều của bức ảnh sau khi thay đổi kích thước qua dòng 16. Như vậy, ta thu được số cột ở ảnh mới là 200, ta tìm số hàng của ma trận mới bằng cách nhân giá trị hàng ma trận cũ với tỉ lệ r

Bức ảnh được thay đổi kích thước thực hiện ở dòng 18, qua hàm cv2.resize. Tham số đầu tiên là bức ảnh gốc bạn muốn thay đổi kích thước, tham số thứ hai là kích thước ảnh mới và cuối cùng là phương thức interpolation – thuật toán thực hiện thay đổi kích thước ảnh. Bạn đọc có thể thay thế cv2.INTER_AREA bằng một số tùy chọn khác như cv2.INTER_LINEAR, cv2.INTER_CUBIC hay cv2.INTER_NEAREST. Bên cạnh đó, bạn cũng có thể thay đổi kích thước bức ảnh theo tỉ lệ giữa số hàng và số cột ma trận hoặc ngược lại. Kết quả chúng ta thu được sau khi thay đổi kích thước bức ảnh với hai trường hợp: số cột = 200 và số hàng 100

4.Lật ảnh

Nếu bạn đọc thắc mắc làm thế nào để tạo hình ảnh như đổ bóng, hay hình ảnh phản chiếu thì phép lật ảnh sẽ hỗ trợ bạn thực hiện các tác vụ này. Phép dịch ở trên cho phép ta di chuyển toàn bộ bức ảnh theo hệ tọa độ, thì phương pháp lật ảnh mà opencv hỗ trợ giúp ta lật ảnh qua lại quanh trục tọa độ. Chúng ta bắt đầu ngay với ví dụ sau:

Chúng ta sẽ bắt đầu ngay vào với hàm cv2.flip dòng 15, phương thức này nhận vào hai tham số: đầu tiên là bức ảnh ta muốn lật, và thứ hai là flip code sử dụng để quyết định ta sẽ lật bức ảnh theo cách nào.

Ý nghĩa giá trị flip code:

0: lật bức ảnh theo trục tung

1: lật bức ảnh theo trục hoành

-1: lật bức ảnh theo cả hai trục

Đây có lẽ là phương pháp biến đổi cơ bản nhất mà chúng ta tìm hiểu. Sau khi thực thi, chúng ta thu được kết quả sau:

5.Cắt ảnh

Để có thể loại bỏ các thành phần thừa trong một bức ảnh, ta sử dụng phương pháp cắt ảnh. Phương pháp này rất quen thuộc với bạn đọc và đã được đề cập trong bài học trước. Chúng ta thực hiện cắt ảnh thông qua sự hỗ trợ từ thư viện numpy bằng việc khai báo tọa độ vùng mà ta muốn giữ lại

Quá trình cắt ảnh được thực hiện ở dòng 15, chúng ta thực hiện việc định nghĩa tọa hình chữ nhật cắt ảnh từ tọa độ bắt đầu từ (100,10) tới (220,80). Ta cần cung cấp 4 giá trị để có thể thực hiện phương pháp cắt ảnh:

y – bắt đầu: trục tung, y = 10

y – kết thúc: trục tung, y = 80

x – bắt đầu: trục hoành, x = 100

x – kết thúc: trục hoành, x = 220

Như vậy, ta có thể cắt được vùng ảnh chứa đầu của gundam astray red:

Ở bài tiếp theo, chúng ta sẽ cùng nhau tìm hiểu một số phép toán trên ảnh.

Đến với bài viết này, chúng ta sẽ làm quen với một khái niệm mới là histograms – biểu đồ. Vậy histograms là gì? Đây là một dạng biểu đồ thể hiện tần suất, nó mô tả một cách đơn giản mà không làm mất bất cứ thống kê thông tin nào của dữ liệu. Trong xử lý ảnh, biểu đồ này biểu thị cường độ phân bố điểm ảnh (cho dù là ảnh màu hay ảnh xám). Biểu đồ có thể được biểu diễn dạng đường hoặc dạng cột, nhờ đó mà nó cung cấp hình ảnh trực quan về mức độ phân bố giá trị điểm ảnh. Ngoài ra, histograms còn chứa các thông tin về kiểu phân bố dữ liệu, độ rộng dữ liệu, đánh giá tính đối xứng của dữ liệu và cho thấy dữ liệu nằm ngoài phân bố. Trong phạm vi bài học này, chúng ta sử dụng không gian màu RGB, do đó giá trị điểm ảnh sẽ nằm trong khoảng từ 0 tới 255.

Bằng cách vẽ biểu đồ, ta hãy tưởng tượng trục x như là các ngăn chứa khác nhau. Nếu chúng ta vẽ biểu đồ có 256 ngăn chứa, thì chúng ta đang xếp lần lượt từng giá trị điểm ảnh vào một ngăn tương ứng và trục y sẽ cho ta biết số lần xuất hiện của từng giá trị trong mỗi ngăn xếp. Ngoài ra nếu chúng ta chỉ chia thành 2 ngăn xếp thì các giá trị có thể được xếp vào hai ngăn tương ứng [0,128) hoặc [128,255]. Cuối cùng thì số lượng trong mỗi ngăn xếp sau đó được biểu thị trên trục y. Có thể bạn đọc vẫn đang đặt ra câu hỏi rằng tại sao chúng ta cần nắm được ý nghĩa của biểu đồ trong xử lý ảnh. Khi ta phân tích histograms – biểu đồ phân bố điểm ảnh, ta sẽ có được các thông tin về độ tương phản, độ sáng và cường độ phân bố các giá trị

Chúng ta sẽ cùng nhau bắt tay vào tạo một biểu đồ với bức ảnh yêu thích và phân tích xem có thể thu thập được những thông tin hay ho nào. 

Để có thể tạo một biểu đồ của bức ảnh với opencv, ta sử dụng hàm cv2.calcHist, trong đó:

cv2.calcHist(images, channels, mask, histSize, ranges):

a.images: bức ảnh ta muốn tạo biểu đồ

b.channels: danh sách các chỉ mục tính biểu đồ. Giá trị là 0 với ảnh xám. Với ảnh màu, giá trị là [0,1,2] tương ứng R, G, và B

c.mask: khái niệm mặt nạ bạn đọc đã được tìm hiểu trong bài học trước, khi cung cấp tham số này, biểu đồ sẽ chỉ hiển thị giá trị nằm trong mặt nạ định nghĩa. Nếu không muốn sử dụng mặt nạ thì ta để là None

d.histSize: số lượng ngăn xếp ta muốn sử dụng để tính toán biểu đồ. Tham số này là một list – danh sách, và một cho mỗi kênh màu chúng ta thực hiện tính toán, và không nhất thiết các tham số phải bằng nhau. Ví dụ mình muốn tạo biểu đồ kích thước 32 ngăn xếp cho mỗi kênh màu thì sẽ khai báo là [32,32,32]

e.ranges: tại đây chúng ta sẽ chỉ định phạm vi có thể của điểm ảnh. Thông thường, giá trị này trong khoảng [0,256] cho mỗi kênh màu, tuy nhiên nếu bạn sử dụng hệ màu khác ngoài RGB (như HSV chẳng hạn), thì khoảng giá trị này sẽ có chút khác biệt. 

Sau đây, ta sẽ cùng nhau tìm hiểu cách tạo biểu đồ với ảnh xám và ảnh màu.

1.Tạo biểu đồ ảnh xám

Dòng 1-14, chúng ta thực hiện thao tác tương tự như các bài học trước: khai báo thư viện, định nghĩa tham số, đọc ảnh truyền vào và hiển thị bức ảnh. Tuy nhiên, điểm khác biệt dòng 12, ta thực hiện chuyển đổi bức ảnh truyền vào từ ảnh màu thành ảnh xám, và chúng ta sẽ tìm hiểu thêm một thư viện mới là matplotlib – đây là một thư viện hỗ trợ mạnh trong quá trình vẽ đồ thị. Ở dòng 16, chúng ta bắt tay vào tính biểu đồ qua sử dụng hàm cv2.calcHist. Như bạn đọc có thể thấy, tham số đầu tiên là biến số rs_img chứa bức ảnh xám. Do ảnh xám có duy nhất một kênh màu, do đó tham số thứ hai mà ta truyền vào là [0] kênh màu. Ngoài ra, chúng ta không sử dụng mặt nạ nên tham số tiếp theo truyền vào hàm là None. Tiếp đến là chúng ta sử dụng 256 ngăn chứa – 256 nhóm giá trị và khoảng giá trị từ 0 tới 256 phù hợp.

Cuối cùng, ta gọi plt.plot() để hiển thị biểu đồ và kết quả cuối cùng bạn đọc sẽ tìm thấy phía dưới đây. Biểu đồ cho thấy giá trị điểm ảnh tập trung trong khoảng từ 0 tới 50.

2.Tạo biểu đồ ảnh màu

Ở ví dụ trên, chúng ta đã nắm được cách tạo biểu đồ ảnh xám, bây giờ bạn đọc và tôi sẽ tìm hiểu cách tính phân bố điểm ảnh cho từng kênh màu trong ảnh

Ở đoạn mã nguồn này chúng ta cần để ý những đoạn sau:

Điều đầu tiên khi ta muốn tạo biểu đồ phân bố giá trị điểm ảnh ở ảnh màu chính là phân tách giá trị ảnh màu ra thành 3 kênh màu: b, g và r – dòng 16. Thông thường, chúng ta đọc hệ màu RGB theo thứ tự lần lượt là r,g và b. Tuy nhiên, opencv lưu ảnh ở dạng mảng numpy theo thứ tự ngược lại: BGR – bạn đọc nên chú ý thứ tự này để có thể xử lý chính xác. Tiếp đó, ta tạo biến colors lưu giá trị các màu biểu thị ở dòng 17.  

Dòng 18-21, khởi tạo và hiển thị biểu đồ với chú thích tương ứng.

Tiếp đó, dòng 23, ta thực hiện vòng lặp chạy qua từng kênh màu. Với mỗi kênh màu, chúng ta tính giá trị hiển thị lên biểu đồ theo phân bố giá trị điểm ảnh tương ứng. Kết quả biểu đồ phân bố thu được như sau: 

Như vậy, chúng ta đã có thể tính biểu đồ lần lượt qua từng kênh màu. Bây giờ, chúng ta sẽ chuyển qua biểu đồ đa chiều và xem xét tính toán hai kênh màu một lúc. Ví dụ, bạn đọc có thể có các câu hỏi như là “Có bao nhiêu điểm ảnh có giá trị đỏ là 10 và xanh là 30?”. Bạn đọc theo dõi minh họa sau:

Bạn đọc có thể thấy rằng mã nguồn ví dụ này khá là dài, tuy nhiên đây là do chúng ta đang thực hiện tính toán biểu đồ màu sắc 2D cho mỗi kết hợp của kênh màu RGB: B&R, G&R, G&B. Như vậy, bây giờ chúng ta đang làm việc với biểu đồ đa chiều. Ở ví dụ trước, mình sử dụng 256 nhóm để làm ví dụ. Tuy nhiên, nếu chúng ta sử dụng 256 nhóm để biểu diễn biểu đồ 2 chiều thì chúng ta sẽ thu về một biểu đề có số lượng 256×256=65536 điểm ảnh riêng biệt. Điều này gây lãng phí bộ nhớ và không thực tiễn. Phần lớn các ứng dụng sử dụng trong khoảng 8 tới 64 nhóm để tính biểu đồ đa chiều. Dòng 32-33, mình sử dụng 32 nhóm thay vì 256. Bạn đọc có thể dễ dàng thấy rằng tham số đầu tiên cho hàm cv2.calcHist nhận vào mảng gồm giá trị hai kênh màu là G và B, hai tổ hợp còn lại cách triển khai tương tự. Vậy biểu đồ 2D được opencv xử lý như thế nào? Khá đơn giản, đó chỉ là mảng numpy hai chiều. Do đó, khi ta chọn cách chia thành 32 nhóm, ta thu được biểu đồ 32×32. Cách biểu đồ hiển thị trực quan bạn đọc có thể tham khảo ở kết quả dưới đây. Đầu tiên là biểu đồ gồm hai kênh màu G và B, tiếp đó là G và R, cuối cùng là B và R. Sắc thái xanh lam biểu diễn điểm ảnh có giá trị nhỏ, còn sắc đỏ biểu thị điểm ảnh có giá trị lớn

Cuối cùng, chúng ta tiếp tục xây dựng một biểu đồ 3 chiều kết hợp cả 3 kênh màu RGB:

Đoạn mã khá đơn giản sau khi chúng ta mở rộng mã từ các phần trên. Dòng 58, ta tính biểu đồ 8x8x8 ở mỗi kênh màu.

3.Cân bằng biểu đồ

Cân bằng biểu đồ là phương pháp cải thiện độ tương phản của bức ảnh bằng cách kéo dãn phân bố điểm ảnh. Bạn đọc có thể thấy ở các ví dụ trên, phân bố điểm ảnh không đồng đều là tập trung chủ yếu ở một số đỉnh có giá trị nhất định. Bằng việc kéo dãn phân bố giá trị này, bức ảnh có thể trở nên sáng hơn. Phương pháp này rất hữu ích khi bức ảnh có nền và trung tâm đều sáng hoặc đều tối – điều mà gây ra cách hiệu ứng xấu trong nhiếp ảnh. Ngoài ra, phương pháp này còn được sử dụng rộng rãi với đối tượng là ảnh vệ tinh và ảnh chụp y học. Trước tiên, chúng ta sẽ cùng nhau tham khảo ví dụ sau:

Dòng 1- 13, tương tự các ví dụ trước, nhưng ở dòng 12, chúng ta thực hiện biến đổi ảnh màu đầu vào về ảnh xám. Phương pháp cân bằng biểu đồ được thực hiện ở dòng 15 qua hàm hỗ trợ cv2.equalizeHist từ opencv với tham số nhận vào duy nhất là biến số được định nghĩa chứa ảnh xám. Kết quả đạt được với ảnh gốc chuyển xám ở phía bên trái, và ảnh được áp dụng phương pháp ở bên phải

Sau khi kéo dãn giá trị bằng phương pháp cân bằng đồ thị, bức ảnh trở nên sáng hơn – ảnh phải.

4.Biểu đồ và mặt nạ

Ở bài học trước, mặt nạ có thể được sử dụng để tập trung vào một vùng trên ảnh mà chúng ta quan tâm. Bây giờ, chúng ta sẽ xây dựng một mặt nạ và tính toán biểu đồ cho vùng ảnh áp dụng mặt nạ

Dòng 1-4, chúng ta khai báo các thư viện cần sử dụng. Dòng 6, ta định nghĩa hàm plot_histogram nhận vào 3 tham số là img, title và mask, trong đó img: ảnh, title: tên khung và mask: mặt nạ với giá trị mặc định là None. Phần thân hàm chúng ta đơn giản là thực hiện vẽ biểu đồ như các ví dụ trên cho mỗi kênh màu

Dòng 21-29, ta định nghĩa tham số truyền vào, đọc ảnh và hiển thị ảnh gốc. Sau đó, chúng ta gọi hàm plot_histogram để hiển thị biểu đồ của bức ảnh. Kết quả thu được:

Sau đó, ta xây dựng mặt nạ bằng cách định nghĩa ma trận giá trị 0 với numpy có cùng kích thước với bức ảnh xử lý – dòng 32. Sau đó, chúng ta vẽ đa giác với tọa độ bắt đầu là (15,15) tới tọa độ kết thúc là (130, 100) ở dòng 33. Đa giác này sẽ được sử dụng làm mặt nạ, lấy ra giáp vai của gundam. Để có thể biểu diễn và áp dụng mặt nạ này, ta thực hiện phép AND.

Chúng ta thấy rằng, ảnh góc trên cùng bên phải là mặt nạ sử dụng và giáp vai thu được nằm ở phía dưới bên phải. Cuối cùng, chúng ta đánh giá biểu đồ sau khi áp dụng mặt nạ

Bằng cách áp dụng mặt nạ, chúng ta có thể áp dụng tính toán vào vùng mà ta mong muốn trên bức ảnh, ví dụ như chúng ta muốn phân tích phân bố màu sắc trên giáp vai của gundam chẳng hạn. Như vậy, sau bài học này, bạn đọc đã có cái nhìn toàn cảnh về những hỗ trợ biểu đồ mà opencv đem lại. Đây là một chủ đề khó và có ứng dụng rộng rãi. Chúng ta sẽ còn nhắc lại nội dung ở đây trong những bài học tiếp theo.

Trong bài đọc này, chúng ta sẽ tìm hiểu về ngưỡng ảnh. Thông thường, đây là phương pháp mà chúng ta sẽ sử dụng khi muốn chuyển đổi từ ảnh xám thành ảnh nhị phân – giá trị các điểm ảnh là 0 hoặc 1. Bạn đọc hẳn còn nhớ, ảnh xám bao gồm các điểm ảnh có giá trị trong khoảng từ 0 tới 255, phương pháp xét ngưỡng cơ bản để có thể chuyển đổi qua ảnh nhị phân đó là chúng ta chọn một giá trị điểm ảnh là p, và cài đặt toàn bộ điểm ảnh có giá trị nhỏ hơn p thành giá trị 0, những điểm ảnh còn lại mang giá trị 1. Như vậy, chúng ta đã thu được một bức ảnh nhị phân từ ảnh xám

Ảnh xám

Ảnh nhị phân
Việc chúng ta áp dụng xét ngưỡng trong xử lý ảnh nhằm tập trung vào các đối tượng hoặc vùng ảnh cụ thể mà ta quan tâm. Bạn đọc sẽ thấy rõ ràng hơn qua ví dụ tìm đồng xu trong bức ảnh dưới đây.
1.Phương pháp xét ngưỡng cơ bản
Phương pháp cơ bản đầu tiên mà chúng ta tìm hiểu sẽ khá thủ công, phụ thuộc phần lớn vào bản thân bạn đọc. Trước hết, ta cần định nghĩa giá trị ngưỡng là T. Tất cả điểm ảnh có giá trị nhỏ hơn T được cài đặt giá trị mới là 0, và tất cả điểm ảnh lớn hơn T cài đặt giá trị mới là 255. Bạn đọc cũng có thể cài đặt giá trị ngược lại do ảnh nhị phân chỉ gồm hai giá trị là 0 và 1 như mình đã trình bày trong những bài mở đầu. Ta sẽ cùng nhau xem xét ví dụ sau:

Dòng 1-15, chúng ta thực hiện các thao tác quen thuộc: khai báo thư viện, định nghĩa tham số đầu vào, thay đổi kích thước và hiển thị hình ảnh. Trong đó, dòng 13 thực hiện chuyển đổi ảnh đầu vào hệ màu RGB thành ảnh xám. Tiếp đó ở dòng 14, ta áp dụng kỹ thuật làm mờ Gaussian trong bài học trước giúp loại bỏ một số đường nét từ đồng xu.

AnhDemo: Bức ảnh đầu vào sau khi chuyển đổi từ hệ màu RGB thành ảnh xám
Threshold Binary: áp dụng ngưỡng nhị phân cơ bản, đồng xu hiển thị có màu đen và nền trắng
Threshold Binary Inverse: áp dụng nghịch đảo kết quả threshold binary. Đồng xu mang giá trị điểm ảnh ngược lại có màu trắng, nền từ trắng chuyển thành đen
Coins: Áp dụng mặt nạ là kết quả threshold binary inverse trong ảnh xám. Chúng ta thu được ảnh cuối tập trung vào duy nhất các đồng xu.
Sau khi áp dụng kỹ thuật làm mờ ảnh, ta tính toán ngưỡng ảnh qua hàm cv2.threshold tại dòng 17. Hàm này nhận vào 4 tham số: thứ nhất là ảnh xám mà ta muốn áp dụng xét ngưỡng – ta cung cấp ảnh xám đã được xử lý làm mờ cho tham số này. Tiếp đó, chúng ta cung cấp giá trị ngưỡng chọn thủ công T = 155. Tham số thứ ba là ngưỡng tối đa mà ta áp dụng. Tất cả các điểm ảnh có giá trị p lớn hơn T sẽ mang giá trị tham số thứ ba này. Và tất giá trị nhỏ hơn 155 sẽ được cài đặt là 0. Cuối cùng, chúng ta cung cấp phương thức ngưỡng: cv2.THRESH_BINARY để thực hiện thay đổi các giá trị điểm ảnh theo ngưỡng cung cấp từ các tham số phía trước.
Hàm cv2.threshold trả về hai giá trị: T và ảnh đã được biến đổi theo ngưỡng cài đặt. Kết quả thu được như bạn đọc có thể theo dõi ở hình trên cùng phía bên phải: đồng xu có màu đen và nền trắng.
Qua dòng 20, ta áp dụng ngưỡng đảo ngược cho ảnh qua phương thức cv2.THRESH_BINARY_INVERSE và thu được kết quả là đồng xu màu trắng nền đen. Cuối cùng, để có thể thu được kết quả chỉ bao gồm những đồng xu từ bức ảnh ban đầu, ta thực hiện tác vụ ở dòng 23 bằng cách sử dụng cv2.bitwise_and. Ta cung cấp ảnh cần lọc xu cho tham số thứ nhất và mặt nạ sử dụng là kết quả áp dụng ngưỡng đảo ngược. Kết quả cuối cùng ta thu được bức ảnh chỉ gồm giá trị điểm ảnh của các đồng xu. Ứng dụng phương pháp này bạn đọc hẳn không còn xa lạ gì khi xem các streamer xóa nền và chỉ hiển thị khuôn mặt khi tương tác.
2.Phương pháp ngưỡng thích ứng
Một trong những nhược điểm của việc xét ngưỡng cơ bản hẳn bạn đọc có thể dễ dàng nhận thấy chính là việc phải chọn giá trị T một cách thủ công, cảm tính hoặc phải qua nhiều lần cài đặt để tìm ra giá trị phù hợp cho bài toán. Phương pháp thứ hai mà mình giới thiệu không chỉ tìm ra giá trị T mà còn hỗ trợ nhiều cài đặt tinh chỉnh tham số. Áp dụng ngưỡng thích ứng hoạt động trên cơ chế tìm giá trị tối ưu T của các điểm ảnh lân cận.

Từ dòng 1-15, ta thực hiện tương tự phương pháp thứ nhất. Chúng ta áp dụng ngưỡng thích ứng ở dòng 17 qua hàm cv2.adaptiveThreshold với tham số thứ nhất là bức ảnh ta muốn áp dụng ngưỡng, tham số thứ 2 cung cấp giá trị điểm ảnh tối đa áp dụng ngưỡng – 255 như ở ngưỡng cơ bản. Tham số thứ ba mà chúng ta cung cấp là cv2.ADAPTIVE_THRESH_MEAN_C – tính T bằng trung bình giá trị các điểm ảnh lân cận. Tiếp theo là phương thức cài đặt ngưỡng để chuyển đổi ánh xám qua ảnh nhị phân, sau đó, ta cung cấp kích thước vùng xét ngưỡng – giá trị này phải là số lẻ. Ở đây, 11 nghĩa là ta sẽ xét vùng áp dụng ngưỡng có kích thước 11×11 thay vì toàn bộ bức ảnh như phương pháp thứ nhất.Tham số cuối cùng là C – giá trị trừ đi từ giá trị trung bình để điều chỉnh ngưỡng. Kết quả thu được như sau:

Tổng quan, chúng ta thấy rằng ở phương pháp thứ hai, việc lựa chọn ngưỡng trung bình hay ngưỡng theo Gauss thì vẫn yêu cầu một số tham số cuối phụ thuộc vào quá trình thực nghiệm. Tham số quan trọng nhất ở phương pháp này chính là kích thước vùng lân cận xét T và giá trị hiệu chỉnh C. Bằng cách thử nghiệm các tham số này, bạn đọc sẽ tìm ra cách xử lý ảnh phù hợp nhất với từng bài toán.
3.Phương pháp Otsu và Riddler-Calvard
Một phương pháp khác giúp bạn đọc có thể tự động tính toán ngưỡng T chính là phương pháp Otsu. Phương pháp này giả sử tồn tại hai đỉnh trong biểu đồ ảnh xám (bạn đọc hẳn còn nhớ kiến thức trong bài histograms chứ?), khi đó, bằng cách tìm giá trị tối ưu giữa hai đỉnh này, ta thu được ngưỡng T. Chúng ta sẽ tìm hiểu thực nghiệm phương pháp này qua thư viện mahotas

Dòng 1-16, ta thực hiện tương tự các ví dụ trên. Để có thể tìm được ngưỡng T phù hợp, chúng ta sử dụng hàm mahotas.thresholding.otsu với tham số truyền vào là bức ảnh cần xử lý, và như vậy ta đã thu được giá trị T = 187

Để có thể thu được kết quả của phương pháp Otsu, ta thực hiện từ dong 21-25. Trước hết, ta tạo một bản sao từ ảnh xám để có thể áp dụng ngưỡng. Dòng 22 thay đổi tất cả giá trị lớn hơn T thành màu trắng, và dòng 23 làm điều ngược lại – thay đổi các giá trị nhỏ hơn T thành màu đen. Cuối cùng, ta áp dụng cv2.bitwise_not để áp dụng ngưỡng vào bức ảnh – bạn đọc tham khảo thêm trong bài viết về phép toán bit, sau đó ta hiển thị kết quả ở dòng 25. Bạn đọc thực hiện tương tự với phương pháp Riddler-Calvard dòng 27-34.