Những người khai sinh thuật toán mạng nơ-ron
Bài cảm nhận về tự truyện của Fei-Fei Li tuần trước vẫn còn một đoạn tiếp theo. Bài đó khép lại ở năm 2012, khi một đội Canada dùng thuật toán mạng nơ-ron để vô địch cuộc thi ImageNet.
Những người khai sinh thuật toán mạng nơ-ron
Ảnh bìa
Con đường xanh công cộng dọc hào thành cổ Bắc Kinh, gần Tháp Trống. (via visuals_china@instagram)
Những người khai sinh thuật toán mạng nơ-ron
Bài cảm nhận về tự truyện của Fei-Fei Li tuần trước vẫn còn một đoạn tiếp theo.
Bài đó khép lại ở năm 2012, khi một đội Canada dùng thuật toán mạng nơ-ron để vô địch cuộc thi ImageNet.
Hôm nay, ta kể câu chuyện về đội ngũ ấy.
Qua đó, ta sẽ thấy thuật toán mạng nơ-ron ra đời thế nào, và ai đã âm thầm đẩy nó đi xa đến vậy.
(1) Geoffrey Hinton (1947-)
Hinton sinh ở Anh, sau đó chuyển đến Canada. Ông là người đặt nền móng và cũng là một trong những người phát minh chính của thuật toán mạng nơ-ron.
Khái niệm mạng nơ-ron xuất hiện vào cuối thập niên 1940, không phải do Hinton đề xuất. Lập luận khi ấy rất trực tiếp: con người suy nghĩ bằng mạng nơ-ron, vậy nếu máy mô phỏng được mạng nơ-ron, máy cũng có thể suy nghĩ.
Nhưng đó mới chỉ là ý tưởng, chưa có thuật toán cụ thể. Không ai biết phải khiến máy mô phỏng tư duy bằng cách nào.
Năm 1984, khi làm nghiên cứu sau tiến sĩ tại Đại học California, Hinton cùng hai đồng nghiệp đưa ra thuật toán lan truyền ngược.
Thuật toán này cho phép dựng mạng nhiều tầng và tạo ra đầu ra, biến mạng nơ-ron thành thứ có thể triển khai, đồng thời đặt nền tảng cho những thuật toán cao cấp hơn về sau.
Vì nó cần tính toán qua nhiều tầng, mỗi tầng sau học từ kết quả của tầng trước, cách làm này được gọi là “học sâu”. Hinton từ đó được gọi là “cha đẻ của deep learning”.
Nhờ đóng góp này, ông nhận giải Turing năm 2018 và giải Nobel Vật lý năm 2024.
(2) Yann LeCun (1960-)
Yann Andre Le Cun, tên tiếng Trung là Yang Likun, là người Pháp. Trong thập niên 1980, ông làm nghiên cứu sau tiến sĩ tại Đại học Toronto.
Cùng thời gian đó, Hinton đến giảng dạy ở Toronto và trở thành người hướng dẫn của ông.
Vì vậy, LeCun là học trò lớn của Hinton, người kế thừa rồi phát triển thuật toán ấy. Thành tựu chính của ông là đưa phép tích chập vào mạng nơ-ron, đồng thời tạo ra mạng nơ-ron đầu tiên có ứng dụng thực tế.
Trong thập niên 1990, ông dùng mạng nơ-ron để nhận dạng chữ số viết tay trên séc ngân hàng, và đã thuyết phục được doanh nghiệp sử dụng.
Nhưng ứng dụng này cũng phơi bày điểm yếu của mạng nơ-ron tích chập: nó cần lượng mẫu huấn luyện khổng lồ và sức mạnh tính toán rất lớn. Séc ngân hàng chỉ cần nhận ra mười chữ số Ả Rập, còn các bối cảnh đa dạng hơn thì phần cứng thời đó không kham nổi.
Giới học thuật vì thế kết luận rằng mạng nơ-ron tích chập chỉ hợp với những bài toán hẹp, ít tính toán và không đáng để mở rộng. Thuật toán này, cùng Hinton và LeCun, bị bỏ quên suốt hai thập kỷ.
Trong thời gian ấy, LeCun làm việc qua lại giữa phòng thí nghiệm doanh nghiệp và trường đại học. Khi thế giới nhìn nhận lại mạng nơ-ron tích chập, ông cùng Hinton nhận giải Turing năm 2018. Hiện ông là Phó chủ tịch kiêm nhà khoa học AI trưởng tại Meta.
(3) Alex Krizhevsky (1986-)
Alex Krizhevsky là người Ukraine, di cư sang Canada cùng gia đình khi còn nhỏ. Năm 2007, ông vào Đại học Toronto và trở thành nghiên cứu sinh tiến sĩ của Hinton.
Lúc đó, gần 20 năm đã trôi qua kể từ khi LeCun đề xuất mạng nơ-ron tích chập. Hinton chưa từng quên nó. Ông khuyến khích Alex và Ilya Sutskever, người sẽ được nhắc đến ngay sau đây, dùng thuật toán này để chinh phục ImageNet của Fei-Fei Li.
Alex viết một chương trình dùng 15 triệu ảnh của ImageNet để huấn luyện mạng nơ-ron tích chập. Khối lượng tính toán quá lớn khiến máy cá nhân không thể chạy nổi, nên ông mua hai card đồ họa Nvidia và để chúng tính toán liên tục 24 giờ mỗi ngày.
Thực tế cho thấy mạng nơ-ron tích chập, cộng bộ dữ liệu huấn luyện lớn và phần cứng tính toán nhanh, vượt qua mọi thuật toán đã biết khác. Cuối cùng, nhóm ba người của họ vô địch cuộc thi thuật toán ImageNet lần thứ ba năm 2012 với cách biệt rất lớn.
Sự kiện này gây chấn động ngành công nghệ. Các công ty Internet lớn đồng loạt mời Hinton và các học trò của ông. Baidu cũng đề nghị Hinton làm nhà khoa học trưởng, nhưng Google đã thắng cuộc cạnh tranh.
Năm 2013, Google mua công ty vỏ bọc do Hinton lập ra với giá 44 triệu USD, rồi tuyển cả Hinton, Alex và Ilya.
Alex nghỉ việc vào năm 2017. Hiện ông nghiên cứu công nghệ AI tại một startup.
(4) Ilya Sutskever (1986-)
Ilya Sutskever sinh ở Liên Xô cũ, sau đó đến Israel rồi Canada. Ông là bạn học tiến sĩ của Alex Krizhevsky tại Đại học Toronto, đồng thời cũng là nghiên cứu sinh của Hinton.
Ông lập nhóm cùng Alex và giành chiến thắng ở cuộc thi thuật toán ImageNet năm 2012. Hinton, với vai trò người hướng dẫn, cũng là một thành viên của nhóm.
Năm 2013, ông theo Hinton vào Google. Năm 2015, ông nghỉ việc để đồng sáng lập OpenAI và làm nhà khoa học trưởng, sau này trở thành một trong những tác giả chính của ChatGPT. Năm 2024, ông rời OpenAI và lập công ty AI riêng.
(5) Andrej Karpathy (1986-)
Andrej Karpathy sinh tại Slovakia, đến Canada cùng gia đình khi 15 tuổi và hoàn thành bậc cử nhân tại Đại học Toronto.
Ông có lẽ đã quen Ilya Sutskever từ thời đại học. Nhưng thay vì làm tiến sĩ ở Toronto, ông đến Đại học Stanford và học với Fei-Fei Li.
Hướng nghiên cứu của ông cũng là mạng nơ-ron tích chập. Trong thời gian làm tiến sĩ, ông mở và trực tiếp giảng dạy khóa deep learning đầu tiên của Stanford.
Năm 2015, ông gia nhập OpenAI cùng Ilya, trở thành một nhà nghiên cứu chủ chốt.
Năm 2017, ông rời OpenAI để đến Tesla làm Giám đốc AI, rồi nghỉ việc năm 2022.
(6) Tổng kết
Năm người trên là những người tạo dựng và thúc đẩy chủ yếu cho thuật toán mạng nơ-ron. Không có họ, sẽ không có các mô hình AI lớn ngày nay.
Nhưng chỉ thuật toán của họ thì AI vẫn không thể thành công. Thuật toán cần lượng dữ liệu khổng lồ để huấn luyện, còn huấn luyện cần phần cứng tính toán tốc độ cao. Không thể thiếu bất cứ mảnh nào trong ba mảnh ghép này.
Mãi đến năm 2012, mọi thứ mới đủ đầy: thuật toán mạng nơ-ron, bộ dữ liệu ImageNet của Fei-Fei Li và card đồ họa tốc độ cao của Nvidia cùng xuất hiện.
Lịch sử từ đó lật sang trang mới. Kỷ nguyên AI chính thức bắt đầu.
Tin tức công nghệ
- Một công ty ở Thâm Quyến ra mắt thứ có lẽ là vỏ Raspberry Pi ngầu nhất.
Nó có màn hình trên vỏ, đèn RGB, quạt và bo mở rộng NVMe SSD, rất hợp để làm NAS hay chạy AI ở biên.
- Phần Lan thử sơn phản quang lên gạc tuần lộc.
Mục tiêu là để tài xế dễ nhìn thấy tuần lộc vào ban đêm. Hiện mỗi năm có 4.000 con tuần lộc bị xe tông chết trên đường ở Phần Lan.
- Phần mềm họp trực tuyến Google Meet ra mắt dịch giọng nói trực tiếp, trước hết dành cho tiếng Tây Ban Nha.
Trong cuộc họp, đối phương nói tiếng Tây Ban Nha nhưng bạn nghe tiếng Anh, còn giọng nói, ngữ điệu và cảm xúc vẫn giữ nguyên.
- Arduino, công ty phần cứng mã nguồn mở của Ý, đang phát triển PCB có thể phân hủy để giảm ô nhiễm môi trường.
Loại bảng mạch này in đường mạch lên vật liệu lanh thực vật thay cho sợi thủy tinh và nhựa truyền thống.
Tuy vậy, đồng trên bảng mạch không thể phân hủy, nên cần thu hồi trước khi bỏ bảng mạch.
- Một startup Mỹ chuẩn bị phóng vệ tinh để đặt trung tâm dữ liệu AI ngoài không gian.
Nó dùng năng lượng Mặt Trời suốt 24 giờ và cũng không phải lo chuyện tản nhiệt.
Công ty hy vọng cách này giải được bài toán điện năng và làm mát của máy chủ AI.
Bài viết
- Môi trường desktop Linux trên điện thoại (Tiếng Anh)
Tác giả đi ra ngoài không mang laptop, chỉ cần điện thoại, bàn phím Bluetooth và kính AR.
Sau khi root điện thoại Android, ông cài một bản phân phối Linux bằng chroot, từ đó có thể chạy môi trường desktop.
- Logic cốt lõi của ứng dụng AI (Tiếng Anh)
Tác giả cho rằng logic cốt lõi của một ứng dụng AI, tức AI agent, chỉ cần chín dòng code.
- Các cổng bị trình duyệt chặn mặc định (Tiếng Anh)
Có thể bạn chưa biết: trình duyệt không mở được localhost:6000, vì 6000 là cổng bị chặn mặc định.
- Khuyên dùng RustDesk cho desktop từ xa (Tiếng Anh)
Khi dùng máy Mac để truy cập máy Windows, remote desktop là một cách làm. Tác giả khuyên dùng RustDesk.
- Mẹo CSS cho HTML
<dialog>(Tiếng Anh)
HTML có phần tử popup gốc là <dialog>. Bài viết giới thiệu hai mẹo CSS đi kèm nó.
- Giải thích chi tiết cấu hình Git (Tiếng Anh)
Bài viết giải thích kỹ các thiết lập phổ biến nhất của lệnh git config.
Công cụ
Trình kiểm tra kiểu cho code Python do Meta phát hành. Xem bài giới thiệu.
Trình duyệt mã nguồn mở mới, xây dựng trên Firefox, nhận được đánh giá rất tốt ở nước ngoài và có trải nghiệm sử dụng dễ chịu. Xem bài giới thiệu.
Một lựa chọn thay thế Xcode, dùng để phát triển ứng dụng iOS trên Linux, Windows và macOS.
Công cụ chuyển đổi hàng loạt tệp trực tuyến, dùng WebAssembly và xử lý hoàn toàn trên máy cục bộ, đồng thời còn có thể chỉnh ảnh. (@xiaoshangmin đóng góp)
Panel quản lý máy chủ viết bằng Go. (@devhaozi đóng góp)
Framework phát triển Web cho Go, giữ cách dùng tương đồng Laravel của PHP nên dễ bắt đầu nhanh. (@devhaozi đóng góp)
Công cụ mã nguồn mở thay đổi tốc độ game, thực hiện bằng cách điều chỉnh các hàm thời gian của Windows. (@game1024 đóng góp)
Ứng dụng album ảnh JavaScript phía backend, hiển thị ảnh theo dạng thác nước. Chỉ cần chỉ định thư mục ảnh rồi chạy trực tiếp. (@SimonAKing đóng góp)
Trình quản lý cửa sổ lát gạch cho Windows 10/11 do cộng đồng mã nguồn mở phát triển, điều khiển bằng bàn phím. (@agent-kilo đóng góp)
Framework đa nền tảng do Didi mã nguồn mở, hỗ trợ đóng gói mini program thành app native cho Android, iOS, HarmonyOS và Web. (@dos1in đóng góp)
AI
Công cụ nhận dạng giọng nói tự động đa nền tảng có giao diện đồ họa, dựa trên mô hình Whisper, nhận dạng được hơn 50 ngôn ngữ. Xem bài giới thiệu.
Công cụ xử lý ảnh trực tuyến miễn phí với hơn mười khả năng AI như cải thiện ảnh, xóa watermark và chuyển đổi phong cách. (@worminone đóng góp)
Tài nguyên
Phần mềm desktop đa nền tảng biến Wikipedia thành một bảo tàng ảo.
Mỗi hiện vật tương ứng với một bài viết Wikipedia. Khung tranh trên tường là ảnh của bài viết, còn bảng thuyết minh là nội dung bài viết.
Các hành lang dẫn sang phòng trưng bày khác theo những liên kết trong bài viết, vì vậy gần như có vô hạn căn phòng để khám phá.
Hình ảnh
Bộ phim Star Wars đầu tiên được quay năm 1976. Trong phim có robot R2-D2 có thể đi lại, làm nhiều động tác và nói chuyện.
Sự thật là nó chẳng hề công nghệ cao đến vậy. Khi quay phim, một diễn viên thật ngồi bên trong.
Khi nước thành băng, thể tích tăng 10%, mật độ vì vậy thấp hơn nước và băng có thể nổi trên mặt nước.
Vì sao thể tích của băng lại tăng?
Câu trả lời nằm ở chỗ cấu trúc phân tử của băng khác cấu trúc phân tử của nước.
Phía trái hình trên là cấu trúc phân tử của nước lỏng, bên phải là của băng. Các nút màu trắng là nguyên tử hydro, nút đỏ là nguyên tử oxy.
Ta thấy nước lỏng tạo thành mạng liên kết sít sao, còn băng là mạng có nhiều khoảng rỗng. Cấu trúc phân tử của băng kém đặc khít hơn, nên thể tích lớn hơn.
Trích đoạn
Slack là công ty phần mềm nhắn tin tức thời. Trang web của họ có trang “giới thiệu công ty”, thông thường URL của trang này sẽ là slack.com/about, nhưng Slack không chọn cách đó.
Họ đặt tên trang là is và tách nó thành nhiều trang con.
Vì thế, URL cho trang “giới thiệu công ty” là slack.com/is.
URL của các trang con như sau.
- slack.com/is/team-communication
- slack.com/is/everything-in-one-place
- slack.com/is/wherever-you-are
Lợi ích là chỉ nhìn URL đã biết trang muốn truyền đạt điều gì. Bản thân URL đã là một cách quảng bá công ty.
Cách dùng is khéo léo này về sau được nhiều nơi học theo. Tình cờ, is cũng là tên miền cấp cao nhất đại diện cho Iceland. Nhiều người nổi tiếng đăng ký tên miền .is làm trang cá nhân.
Chẳng hạn, website của nghệ sĩ Jessica Hische dùng tên miền jessicahische.is, và các URL giới thiệu của cô đều có dạng jessicahische.is/xxx.
Trích dẫn
1.
Chúng tôi sẽ sớm chia sẻ với mọi người một thành quả nghiên cứu kín đáo. Chúng tôi sẽ đặt cho nó một cái tên hay hơn chatGPT, phòng khi nó trở nên phổ biến.
— Sam Altman, CEO của OpenAI
2.
Định luật Gall thường được trích dẫn: “Một hệ thống phức tạp đang vận hành hiệu quả luôn tiến hóa từ một hệ thống đơn giản đang vận hành hiệu quả.”
Nhưng hệ quả của nó ít khi được nhắc đến: “Một hệ thống phức tạp được thiết kế từ con số không sẽ không bao giờ hoạt động hiệu quả. Bạn phải bắt đầu bằng một hệ thống đơn giản có thể chạy.”
3.
Vũ trụ có hai khả năng: hoặc chúng ta cô độc, hoặc chúng ta không cô độc. Cả hai khả năng đều đáng sợ như nhau.
— Arthur C. Clarke, nhà văn khoa học viễn tưởng nổi tiếng người Anh
4.
Mặt Trời mất 230 triệu năm để quay một vòng quanh Ngân Hà. Lần trước nó ở vị trí này, khủng long vẫn thống trị Trái Đất.
5.
Tôi theo dõi một số nhà giáo dục và tất cả họ đều kể cùng một hiện tượng: sinh viên dùng ChatGPT cho mọi việc, nên rốt cuộc chẳng học được gì.
Cuối cùng, có thể xuất hiện một thế hệ có năng lực tự thân rất thấp, phụ thuộc hoàn toàn vào những công nghệ họ không hiểu. Một khi công nghệ sụp đổ, họ sẽ không bao giờ tự xây lại mọi thứ từ đầu được.
— Neal Stephenson, nhà văn khoa học viễn tưởng Mỹ, người tạo ra thuật ngữ “Metaverse”