Tôi đang xem Star Trek 'AI nâng cấp' và nó không tồi tệ

Suốt nhiều năm, các fan cuồng của Star Trek đã sử dụng trí tuệ nhân tạo để tạo ra phiên bản của loạt phim nổi tiếng Deep Space 9 một cách tốt đẹp trên các TV hiện đại. Nghe có vẻ hơi ngớ ngẫn, nhưng tôi đã ngạc nhiên khi phát hiện rằng nó thực sự khá tốt - chắc chắn đủ tốt để các công ty truyền thông nên chú ý (thay vì chỉ gửi cho tôi các vụ vi phạm bản quyền).

Tôi đã được truyền cảm hứng vào đầu năm nay để xem chương trình này, một trong những chương trình có fan yêu thích mà tôi thỉnh thoảng thấy trên TV khi phát sóng nhưng chưa bao giờ nghĩ hai lần. Sau khi xem bản cải tạo đột phá của Star Trek: The Next Generation, tôi cảm thấy nên xem lại phiên bản tập trung vào nhóm diễn viên hơn, ít khám phá về vũ trụ. Có lẽ, tôi nghĩ, nó đang bên trong một quá trình cải tạo chi tiết cũng. Không!

Đáng tiếc, tôi phát hiện ra rằng, mặc dù việc cải tạo TNG đã là một thành công to lớn về mặt kỹ thuật, thời điểm đó trùng với sự bùng nổ của dịch vụ streaming, có nghĩa là bộ đĩa Blu-ray đắt tiền không bán chạy. Quá trình này tốn hơn 10 triệu đô la, và nếu nó không mang lại lợi nhuận cho chương trình truyền hình phổ biến nhất của thương hiệu, không cách nào các quyền lực đó sẽ làm lại cho DS9, được yêu thích nhưng ít khiền nhất.

Điều này có nghĩa là nếu bạn muốn xem DS9 (hoặc Voyager chẳng hạn), bạn phải xem ở chất lượng gần với cách mà nó được phát sóng vào những năm 90. Giống như TNG, nó được quay trên phim nhưng chuyển đổi sang băng video ở độ phân giải khoảng 480p. Và mặc dù các đĩa DVD cung cấp chất lượng hình ảnh tốt hơn so với các cuộc phát sóng (do các yếu tố như pulldown và độ sâu màu sắc) nhưng cuối cùng, chúng vẫn bị giới hạn bởi định dạng mà chương trình được hoàn thiện.

Cho TNG, họ đã quay lại các bản gốc và cơ bản là lồng ghép lại toàn bộ chương trình, làm lại các hiệu ứng và compositing, tiêu tốn nhiều chi phí và nỗ lực. Có lẽ việc này có thể xảy ra trong thế kỷ 25 cho DS9, nhưng hiện tại không có kế hoạch, và thậm chí nếu họ thông báo ngay mai, nhiều năm sẽ trôi qua trước khi nó ra mắt.

Vì vậy: Như một người xem DS9 tự phát, được phải lòng bởi bản quét nguy nga của TNG, và không hài lòng với ý tưởng của một hình ảnh phát sóng NTSC xấu xí được hiển thị trên màn hình 4K đẹp của tôi, điều đó để lại tôi đâu? Hóa ra: không cô đơn.

Để thử nâng cấp...

Suốt nhiều năm, các fan của các chương trình và bộ phim bị bỏ lại bởi tàu HD đã làm việc một cách hiền nhẹ để tìm và phát hành các phiên bản tốt hơn so với những gì có sẵn chính thức. Ví dụ nổi tiếng nhất là loạt phim gốc Star Wars, mà bị George Lucas gây hại không thể phục hồi trong quá trình cải tạo chính thức, dẫn đến việc fan tìm nguồn tài nguyên thay thế cho một số cảnh: đĩa laserdisc, phiên bản giới hạn, media quảng cáo, cuộn phim lưu trữ và vân vân. Những phiên bản hoàn toàn không chính thức này là một công việc liên tục trong một tiến trình, và trong những năm gần đây đã bắt đầu thực hiện các công cụ mới dựa trên trí tuệ nhân tạo.

Công cụ này chủ yếu về việc nâng cấp thông minh và loại bỏ nhiễu, điều cuối cùng đáng quan tâm hơn trong thế giới Star Wars, nơi một số phân đoạn phim gốc rất sần sùi hoặc bị suy giảm. Nhưng bạn có thể nghĩ rằng việc nâng cấp, làm cho một bức ảnh lớn hơn, là một quá trình tương đối đơn giản - tại sao lại sử dụng trí tuệ nhân tạo?

Chắc chắn có những cách đơn giản để nâng cấp, hoặc chuyển đổi độ phân giải của video lên một mức cao hơn. Điều này được thực hiện tự động khi bạn có tín hiệu 720p đến một TV 4K, ví dụ. Hình ảnh độ phân giải 1280×720 không xuất hiện nhỏ ở giữa màn hình 3840×2160 - nó bị căng ra một số lần theo từng hướng để phù hợp với màn hình; nhưng trong khi hình ảnh trở nên lớn hơn, vẫn 720p về độ phân giải và chi tiết.

Một thuật toán đơn giản, nhanh như lọc nội suy làm cho một hình ảnh nhỏ hấp dẫn trên một màn hình lớn ngay cả lúc không phải là một bước nhảy 2 lần hoặc 3 lần, và có một số phương pháp co giãn làm việc tốt với một số phương tiện (ví dụ như hoạt hình hoặc pixel art). Nhưng tổng thể bạn có thể kết luận công việc này không cần thiết một quá trình chuyên sâu hơn.

Và đúng đến một mức độ nhất định, cho đến khi bạn bắt đầu vào hố sâu với quá trình nâng cấp cải tiến hơn thực sự thêm chi tiết. Nhưng bạn làm sao có thể “thêm” chi tiết mà hình ảnh không chưa chứa? Thì thực chất, nó đã chứa - hoặc chứa ám.

Ví dụ đơn giản dưới đây. Hãy tưởng tượng một chiếc TV cũ hiển thị một hình ảnh của một hình tròn màu xanh trên một phông nền phai từ màu xanh sang màu đỏ (Tôi đã sử dụng bộ lọc CRT này cho một bản mô phỏng cơ bản).

Bạn có thể nhìn thấy nó là một hình tròn, tất nhiên, nhưng nếu bạn nhìn kỹ bạn thấy rằng nó thực sự khá mờ ở nơi mà hình tròn và nền gặp nhau, đúng không, và bước chuyển trong dải màu? Nó bị giới hạn bởi độ phân giải và bởi codec video và phương pháp phát sóng, chưa kể đến bố cục sub-pixel và phosphor của một chiếc TV cũ.

Nhưng nếu tôi yêu cầu bạn tái tạo hình ảnh này ở độ phân giải cao và màu sắc, bạn thực sự có thể làm được với chất lượng tốt hơn so với bạn từng thấy, sắc nét hơn và với màu sắc mềm mại hơn. Làm thế nào? Vì có nhiều thông tin ẩn chứ không chỉ là những gì bạn nhìn thấy. Nếu bạn chắc chắn được những gì đã có trước khi những chi tiết đó bị mất khi nó được mã hóa, bạn có thể đưa chúng trở lại, như thế này:

Có nhiều chi tiết hơn được mang trong hình ảnh đó không rõ ràng - vì vậy thực chất chúng ta không thêm vào mà là khôi phục nó. Trong ví dụ này, tôi đã thay đổi nhanh để tạo ra ảnh ảo mạnh mẽ (thực sự, đó là khá bất ngờ), nhưng trong hình ảnh ảnh hấp dẫn thường ít khắc nghiệt hơn.

Nâng cấp thông minh

Điều trên đây là một ví dụ rất đơn giản về việc khôi phục chi tiết, và thực sự đây đã được thực hiện có hệ thống từ nhiều năm qua trong những nỗ lực phục hồi trên nhiều lĩnh vực, kỹ thuật số và analog. Nhưng trong khi bạn có thể thấy rằng có thể tạo ra một hình ảnh với chi tiết rõ ràng hơn so với ban đầu, bạn cũng thấy rằng điều đó chỉ có thể xảy ra vì một mức độ nhất định của sự hiểu biết hoặc trí thông minh về bức ảnh đó. Một công thức toán học đơn giản không thể thực hiện điều đó. May mắn, chúng ta đã vượt xa xa những ngày mà một công thức toán học đơn giản là cách duy nhất để cải thiện chất lượng hình ảnh của chúng ta.

Từ các công cụ mã nguồn mở đến các sản phẩm đến từ Adobe và Nvidia, phần mềm nâng cấp đang trở nên phổ biến hơn khi các card đồ họa có khả năng thực hiện các phép tính phức tạp cần thiết để thực hiện chúng đã phát triển. Nhu cầu nâng cấp một đoạn video hoặc ảnh chụp từ độ phân giải thấp lên cao đã trở nên phổ biến ngày nay trên hàng tá ngành công nghiệp và bối cảnh.

Các dụng cụ hiệu ứng video hiện nay tích hợp phân tích hình ảnh phức tạp và các thuật toán nhạy cảm với ngữ cảnh, ví dụ như làn da hoặc tóc được xử lý khác biệt so với bề mặt nước hoặc thân tàu con thoi. Mỗi tham số và thuật toán có thể được điều chỉnh và sửa đổi từng cá nhân tùy thuộc vào nhu cầu của người dùng hoặc hình ảnh đang được upscale. Trong số các lựa chọn được sử dụng nhiều nhất là Topaz, bộ công cụ xử lý video sử dụng kỹ thuật học máy.

Một trong những vấn đề của các công cụ này là kép. Đầu tiên, sự thông minh chỉ đến mức độ nào: các cài đặt mà có thể hoàn hảo cho một cảnh ngoài vũ trụ hoàn toàn không phù hợp cho một cảnh nội thất, hoặc một rừng rậm hoặc trận đấu boxing. Thực ra, thậm chí nhiều cảnh quay khác nhau trong cùng một cảnh cũng có thể yêu cầu các phương pháp tiếp cận khác nhau: góc quay khác nhau, đặc điểm khác nhau, kiểu tóc, ánh sáng. Tìm ra và khóa những cài đặt Goldilocks đó là một công việc rất nhiều công việc.

Thứ hai, những thuật toán này không rẻ hoặc (đặc biệt khi đến với các công cụ mã nguồn mở) dễ dàng. Bạn không chỉ trả tiền để sở hữu giấy phép Topaz - bạn phải chạy nó trên một cái gì đó, và mỗi hình ảnh bạn đưa qua nó sử dụng một lượng tính toán khá lớn. Tính toán các tham số khác nhau cho một khung hình có thể mất một vài giây, và khi bạn xem xét rằng có 30 khung hình mỗi giây trong 45 phút mỗi tập, đột ngột bạn đang chạy card đồ