DeepSeek thống trị App Store, AI Trung Quốc gây chấn động giới công nghệ Mỹ

Tiêu đề gốc: "DeepSeek thống trị App Store, một tuần mà AI Trung Quốc gây ra trận động đất trong giới công nghệ Hoa Kỳ"

Nguồn gốc: APPSO

Trong tuần qua, mẫu DeepSeek R1 đến từ Trung Quốc đã khuấy động toàn bộ giới AI ở nước ngoài.

Một mặt, nó đạt được hiệu suất tương đương với OpenAI o1 với chi phí đào tạo thấp hơn, mặt khác chứng tỏ lợi thế của Trung Quốc về năng lực kỹ thuật và đổi mới quy mô; nó đạt được hiệu suất tương đương với OpenAI o1 với chi phí đào tạo thấp hơn; một mặt, nó cũng đề cao tinh thần nguồn mở và mong muốn chia sẻ các chi tiết kỹ thuật.

Gần đây, nhóm nghiên cứu của Jiayi Pan, nghiên cứu sinh tiến sĩ tại Đại học California, Berkeley, đã tái tạo thành công DeepSeek R1 với chi phí rất thấp (thấp hơn US$30). -Công nghệ chủ chốt của Zero - "Khoảnh khắc Aha".

Vì vậy, không có gì ngạc nhiên khi Giám đốc điều hành Meta Zuckerberg và người đoạt giải Turing Yann LeCun và Giám đốc điều hành Deepmind Demis Hassabis và những người khác đã đánh giá cao DeepSeek.

Khi mức độ phổ biến của DeepSeek R1 tiếp tục tăng lên, chiều nay, Ứng dụng DeepSeek đã tạm thời gặp tình trạng máy chủ bận do lượng truy cập của người dùng tăng đột biến và thậm chí " bị hỏng" một thời gian. .

Giám đốc điều hành OpenAI Sam Altman vừa cố gắng tiết lộ giới hạn sử dụng của o3-mini để thu hút sự chú ý của truyền thông quốc tế - Thành viên ChatGPT Plus có thể truy vấn 100 truy vấn mỗi ngày Thứ hai -tỷ lệ.

Tuy nhiên, điều ít được biết đến là trước khi trở nên nổi tiếng, công ty mẹ Huanfang Quantitative của DeepSeek thực sự là một trong những công ty hàng đầu trong lĩnh vực cổ phần tư nhân định lượng trong nước.

Mô hình DeepSeek gây chấn động Thung lũng Silicon và hàm lượng vàng của nó vẫn tăng

26 tháng 12, Năm 2024, DeepSeek chính thức cho ra mắt mẫu lớn DeepSeek-V3.

Mô hình này đã hoạt động tốt trong nhiều bài kiểm tra điểm chuẩn, vượt qua các mô hình phổ thông hàng đầu trong ngành, đặc biệt là trong các câu hỏi và câu trả lời kiến thức, xử lý văn bản dài, tạo mã và khía cạnh năng lực toán học. Ví dụ: trong các nhiệm vụ tri thức như MMLU và GPQA, hiệu suất của DeepSeek-V3 gần bằng với mẫu hàng đầu quốc tế Claude-3.5-Sonnet.

Về khả năng toán học, nó đã đặt ra những tiêu chuẩn mới trong các bài kiểm tra như AIME 2024 và CNMO 2024. Một kỷ lục vượt qua tất cả các mô hình nguồn mở và nguồn đóng đã biết. Đồng thời, tốc độ thế hệ của nó đã tăng 200% so với thế hệ trước, đạt 60 TPS, giúp cải thiện đáng kể trải nghiệm người dùng.

Theo phân tích của trang web đánh giá độc lập Artificial Analysis, DeepSeek-V3 đã vượt qua các mô hình nguồn mở khác ở nhiều chỉ số chính và ngang bằng với thế giới các mô hình đóng hàng đầu về hiệu suất. Các mô hình nguồn GPT-4o và Claude-3.5-Sonnet có thể so sánh được.

Những ưu điểm kỹ thuật cốt lõi của DeepSeek-V3 bao gồm:

1. ) Kiến trúc: DeepSeek-V3 có 671 tỷ tham số, nhưng trong hoạt động thực tế, mỗi đầu vào chỉ kích hoạt 37 tỷ tham số. Phương pháp kích hoạt chọn lọc này giúp giảm đáng kể chi phí tính toán trong khi vẫn duy trì hiệu suất cao.

2. Chú ý tiềm ẩn nhiều đầu (MLA): Kiến trúc này đã được xác minh trong DeepSeek-V2 và có thể đạt được hiệu quả đào tạo và suy luận.

3. Chiến lược cân bằng tải không có tổn hao phụ: Chiến lược này nhằm mục đích giảm thiểu tác động tiêu cực của cân bằng tải đến hiệu suất mô hình.

4. Mục tiêu đào tạo dự đoán nhiều mã thông báo: Chiến lược này cải thiện hiệu suất tổng thể của mô hình.

5. Khung đào tạo hiệu quả: sử dụng khung HAI-LLM, hỗ trợ Song song đường ống 16 chiều (PP), Song song chuyên gia 64 chiều (EP) và Zero - 1 Song song dữ liệu (DP) và giảm chi phí đào tạo thông qua các phương pháp tối ưu hóa khác nhau.

Quan trọng hơn, chi phí đào tạo của DeepSeek-V3 chỉ là 5,58 triệu USD, thấp hơn nhiều so với GPT-4, vốn có chi phí đào tạo là 78 USD triệu. Hơn nữa, giá dịch vụ API của nó cũng tiếp tục thân thiện với người dân trong thời gian qua.

Mã thông báo đầu vào chỉ có giá 0,5 nhân dân tệ trên một triệu (nhấn bộ đệm) hoặc 2 Nhân dân tệ (lỗi bộ nhớ cache), mã thông báo đầu ra chỉ có giá 8 Nhân dân tệ mỗi triệu.

The Financial Times mô tả nó là "con ngựa ô gây chấn động cộng đồng công nghệ quốc tế" và tin rằng hiệu suất của nó có thể sánh ngang với các mẫu xe đối thủ của Mỹ như -OpenAI được tài trợ. Người sáng lập giàu kinh nghiệm Chris McKay còn chỉ ra thêm rằng sự thành công của DeepSeek-V3 có thể xác định lại các phương pháp phát triển mô hình AI đã được thiết lập.

Nói cách khác, sự thành công của DeepSeek-V3 cũng được coi là phản ứng trực tiếp trước các hạn chế xuất khẩu của Hoa Kỳ đối với sức mạnh tính toán. Thay vào đó, áp lực bên ngoài này đã kích thích sự đổi mới của Trung Quốc.

Người sáng lập DeepSeek Liang Wenfeng, một thiên tài khiêm tốn tại Đại học Chiết Giang

Sự trỗi dậy của DeepSeek đã khiến Thung lũng Silicon khó ngủ và ăn An, Liang Wenfeng, người sáng lập đằng sau mô hình đã khuấy động ngành AI toàn cầu này, giải thích một cách hoàn hảo về quỹ đạo phát triển của thiên tài theo nghĩa truyền thống của Trung Quốc - thành công trẻ, thành công lâu dài.

Một nhà lãnh đạo công ty AI giỏi cần hiểu cả công nghệ và kinh doanh, vừa có tầm nhìn xa vừa thực tế, đồng thời có đủ can đảm để đổi mới và kỷ luật kỹ năng kỹ thuật. Bản thân loại tài năng tổng hợp này là một nguồn tài nguyên khan hiếm.

Năm 17 tuổi, anh được nhận vào Đại học Chiết Giang chuyên ngành kỹ thuật thông tin và điện tử. Năm 30 tuổi, anh thành lập Hquant và bắt đầu lãnh đạo trường. nhóm để khám phá giao dịch định lượng hoàn toàn tự động. Câu chuyện của Liang Wenfeng chứng minh rằng thiên tài luôn làm điều đúng đắn vào đúng thời điểm.

· 2010: Với sự ra mắt của hợp đồng tương lai chỉ số chứng khoán CSI 300, đầu tư định lượng Đứng trước cơ hội phát triển, đội ngũ Huanfang đã tận dụng được đà và quỹ tự vận hành của mình đã tăng trưởng nhanh chóng.

· 2015: Liang Wenfeng đồng sáng lập Magic Square Quantification cùng với các cựu sinh viên của mình. Năm sau, anh ra mắt mô hình AI đầu tiên và triển khai các vị trí giao dịch được tạo ra bằng phương pháp học sâu. .

· 2017: Magic Square Quantative tuyên bố hiện thực hóa chiến lược đầu tư toàn diện dựa trên AI.

· 2018: Xác định AI là hướng phát triển chính của công ty.

· 2019: Quy mô quản lý quỹ vượt 10 tỷ nhân dân tệ, trở thành một trong "tứ đại gia" về vốn cổ phần tư nhân định lượng trong nước.

· 2021: Huanfang Quantitative trở thành công ty cổ phần tư nhân định lượng trong nước đầu tiên có quy mô vượt quá 100 tỷ đồng.

Bạn không thể chỉ thành công và nghĩ đến công ty đã ngồi ngoài lề trong vài năm qua. Tuy nhiên, giống như việc chuyển đổi các công ty thương mại định lượng sang AI, điều này có vẻ bất ngờ nhưng thực ra lại hợp lý - bởi vì chúng đều là những ngành sử dụng nhiều công nghệ dựa trên dữ liệu.

Huang Renxun chỉ muốn bán card đồ họa game để kiếm tiền cho những người chơi game như chúng ta, nhưng không ngờ lại trở thành kho vũ khí AI lớn nhất thế giới , Magic Square Bước vào lĩnh vực AI cũng rất giống nhau. Sự phát triển này khả thi hơn các mô hình AI lớn mà nhiều ngành hiện đang áp dụng một cách máy móc.

Magic Square Quantitative đã tích lũy được nhiều kinh nghiệm về xử lý dữ liệu và tối ưu hóa thuật toán trong quá trình đầu tư định lượng. Nó cũng có số lượng lớn chip A100. cung cấp hỗ trợ phần cứng mạnh mẽ cho việc đào tạo mô hình AI. Bắt đầu từ năm 2017, Magic Square đã triển khai sức mạnh tính toán AI trên quy mô lớn và xây dựng các cụm điện toán hiệu suất cao như "Yinghuo One" và "Yinghuo Two" để cung cấp hỗ trợ sức mạnh tính toán mạnh mẽ cho việc đào tạo mô hình AI.

Năm 2023, Magic Square Quantification chính thức thành lập DeepSeek, tập trung phát triển các mô hình AI lớn. DeepSeek kế thừa sự tích lũy công nghệ, tài năng và tài nguyên của Magic Quantative và nhanh chóng nổi lên trong lĩnh vực AI.

Trong một cuộc phỏng vấn sâu với "Undercurrent", người sáng lập DeepSeek Liang Wenfeng cũng cho thấy một tầm nhìn chiến lược độc đáo.

Không giống như hầu hết các công ty Trung Quốc chọn sao chép kiến trúc Llama, DeepSeek bắt đầu trực tiếp từ cấu trúc mô hình, chỉ để hướng tới mục tiêu đầy tham vọng là AGI.

Liang Wenfeng không giấu giếm khoảng cách hiện tại. Hiện có một khoảng cách đáng kể giữa AI của Trung Quốc và các cấp độ quốc tế hàng đầu. tính năng động và hiệu quả của dữ liệu dẫn đến Nó đòi hỏi sức mạnh tính toán gấp 4 lần để đạt được hiệu quả tương tự.

▲Ảnh từ ảnh chụp màn hình tin tức CCTV

Thái độ đối mặt với thử thách này trực tiếp xuất phát từ kinh nghiệm nhiều năm ở Huân Phương của Liang Wenfeng.

Ông nhấn mạnh rằng nguồn mở không chỉ là chia sẻ công nghệ mà còn là sự thể hiện văn hóa. Con hào thực sự nằm ở khả năng đổi mới liên tục của nhóm. Văn hóa tổ chức độc đáo của DeepSeek khuyến khích sự đổi mới từ dưới lên, hạ thấp thứ bậc và coi trọng niềm đam mê cũng như sự sáng tạo của nhân tài.

Nhóm chủ yếu bao gồm những người trẻ đến từ các trường đại học hàng đầu và áp dụng mô hình phân công lao động tự nhiên để cho phép nhân viên khám phá và cộng tác độc lập. Khi tuyển dụng, chúng tôi coi trọng niềm đam mê và sự tò mò của nhân viên hơn là kinh nghiệm và kiến thức nền tảng theo nghĩa truyền thống.

Về triển vọng của ngành, Liang Wenfeng tin rằng AI đang trong thời kỳ bùng nổ đổi mới công nghệ hơn là thời kỳ bùng nổ ứng dụng. Ông nhấn mạnh rằng Trung Quốc cần nhiều đổi mới công nghệ nguyên bản hơn và không thể mãi ở trong giai đoạn bắt chước. Nước này cần con người đứng đầu về công nghệ.

Mặc dù các công ty như OpenAI hiện đang dẫn đầu nhưng cơ hội đổi mới vẫn tồn tại.

Lật đổ Thung lũng Silicon, Deepseek khiến giới AI ở nước ngoài không ngừng nghỉ

Mặc dù ngành có những ý kiến khác nhau về DeepSeek, nhưng chúng tôi cũng đã thu thập một số nhận xét từ những người trong ngành.

Jim Fan, trưởng dự án NVIDIA GEAR Lab, đánh giá cao DeepSeek-R1.

Ông chỉ ra rằng điều này thể hiện rằng các công ty không phải của Hoa Kỳ đang hoàn thành sứ mệnh mở ban đầu của OpenAI và đạt được ảnh hưởng bằng cách tiết lộ các thuật toán gốc và đường cong học tập. của OpenAI.

DeepSeek-R1 không chỉ mở nguồn hàng loạt mô hình mà còn tiết lộ mọi bí mật huấn luyện. Chúng có thể là những dự án nguồn mở đầu tiên chứng minh sự phát triển đáng kể và liên tục của bánh đà RL.

Có thể đạt được tầm ảnh hưởng thông qua các dự án huyền thoại như "Triển khai nội bộ ASI" hoặc "Dự án dâu tây", hoặc đơn giản bằng cách sử dụng thuật toán ban đầu và đường cong học tập matplotlib để đạt được .

Marc Andreesen, người sáng lập A16Z, một công ty đầu tư mạo hiểm hàng đầu Phố Wall, tin rằng DeepSeek R1 là một trong những đột phá đáng ngạc nhiên và ấn tượng nhất mà ông từng thấy. Là nguồn mở, đây là một món quà sâu sắc cho thế giới.

Lu Jing, cựu nhà nghiên cứu cấp cao tại Tencent và nghiên cứu sinh sau tiến sĩ về trí tuệ nhân tạo tại Đại học Bắc Kinh, là từ Phân tích Công nghệ từ góc độ tích lũy. Ông chỉ ra rằng DeepSeek không đột nhiên trở nên phổ biến. Nó kế thừa nhiều cải tiến trong phiên bản mô hình thế hệ trước. Kiến trúc mô hình và sự đổi mới thuật toán có liên quan đã được xác minh nhiều lần và việc làm rung chuyển ngành là điều không thể tránh khỏi.

Yann LeCun, người đoạt giải Turing và là nhà khoa học AI trưởng của Meta, đã đưa ra một quan điểm mới:

"Đối với những người nghĩ rằng "Trung Quốc đang vượt qua Hoa Kỳ về AI" sau khi xem hiệu suất của DeepSeek, cách giải thích của bạn là sai. Giải thích đúng phải là "Mô hình nguồn mở đang vượt qua mô hình độc quyền." 》

CEO Deepmind Demis Hassabis Đánh giá cho thấy một chút lo lắng:

“Những thành tựu mà DeepSeek đạt được rất ấn tượng. Tôi nghĩ chúng ta cần xem xét cách duy trì vị trí dẫn đầu của phương Tây. những mô hình tiên tiến nhất, tôi nghĩ phương Tây vẫn đi trước, nhưng điều chắc chắn là Trung Quốc có năng lực về quy mô và kỹ thuật cực kỳ mạnh mẽ."

CEO của Microsoft Satya Nadella đến Thụy Sĩ Diễn đàn kinh tế thế giới Voss tuyên bố rằng DeepSeek. Đã phát triển hiệu quả một mô hình nguồn mở không chỉ hoạt động tốt trong tính toán suy luận mà còn cực kỳ hiệu quả trong siêu máy tính.

Ông nhấn mạnh rằng Microsoft phải đáp lại những phát triển mang tính đột phá này ở Trung Quốc với sự chú ý cao nhất.

Đánh giá của CEO Meta Zuckerberg thậm chí còn sâu sắc hơn. Ông tin rằng sức mạnh kỹ thuật và hiệu suất mà DeepSeek thể hiện là rất ấn tượng, đồng thời chỉ ra rằng khoảng cách AI giữa Trung Quốc và Trung Quốc. Hoa Kỳ đã ở mức tối thiểu, sự chạy nước rút toàn lực của Trung Quốc đã khiến cuộc cạnh tranh này trở nên khốc liệt hơn.

Phản ứng từ các đối thủ cạnh tranh có lẽ là sự chứng thực tốt nhất cho DeepSeek. Theo báo cáo từ nhân viên Meta trên cộng đồng nơi làm việc ẩn danh TeamBlind, sự xuất hiện của DeepSeek-V3 và R1 đã khiến nhóm AI sáng tạo của Meta rơi vào tình trạng hoảng loạn.

Các kỹ sư của Meta đang chạy đua với thời gian để phân tích công nghệ của DeepSeek và cố gắng sao chép mọi công nghệ có thể có từ nó.

Lý do là chi phí đào tạo DeepSeek-V3 chỉ là 5,58 triệu USD, thậm chí còn không bằng mức lương hàng năm của một số giám đốc điều hành Meta. Sự chênh lệch về tỷ lệ đầu vào-đầu ra như vậy khiến ban quản lý Meta chịu áp lực rất lớn khi giải thích ngân sách R&D AI khổng lồ của mình.

Truyền thông chính thống quốc tế cũng rất chú ý đến sự nổi lên của DeepSeek.

"Financial Times" chỉ ra rằng thành công của DeepSeek đã phá vỡ quan niệm truyền thống rằng "nghiên cứu và phát triển AI phải dựa vào các khoản đầu tư lớn" và chứng minh rằng các lộ trình kỹ thuật chính xác cũng có thể đạt được kết quả nghiên cứu xuất sắc. Quan trọng hơn, sự chia sẻ quên mình về đổi mới công nghệ của nhóm DeepSeek đã khiến công ty chú trọng nhiều hơn đến giá trị nghiên cứu này trở thành một đối thủ cạnh tranh đặc biệt mạnh mẽ.

The Economist tuyên bố rằng họ tin rằng những đột phá nhanh chóng của Trung Quốc về hiệu quả chi phí của công nghệ AI đã bắt đầu làm lung lay lợi thế công nghệ của Hoa Kỳ, điều này có thể ảnh hưởng đến Tương lai của Hoa Kỳ Một thập kỷ tăng năng suất và tiềm năng tăng trưởng kinh tế.

The New York Times đã tiếp cận nó từ một góc độ khác, DeepSeek-V3 Hiệu suất có thể so sánh với các chatbot cao cấp của các công ty Mỹ nhưng giá thành lại giảm đi rất nhiều.

Điều này cho thấy ngay cả khi đối mặt với các biện pháp kiểm soát xuất khẩu chip, các công ty Trung Quốc vẫn có thể cạnh tranh thông qua đổi mới và sử dụng hiệu quả các nguồn tài nguyên. Hơn nữa, chính sách hạn chế chip của chính phủ Mỹ có thể phản tác dụng, thay vào đó lại thúc đẩy những đột phá đổi mới của Trung Quốc trong lĩnh vực công nghệ AI nguồn mở.

DeepSeek "báo nhầm cửa", tự xưng là GPT-4

Giữa bối cảnh khen ngợi , DeepSeek cũng đã phải đối mặt với một số tranh cãi.

Nhiều người ngoài cuộc cho rằng có thể DeepSeek đã sử dụng dữ liệu đầu ra của các mô hình như ChatGPT làm tài liệu đào tạo trong quá trình đào tạo thông qua công nghệ chắt lọc mô hình, “kiến thức” trong các dữ liệu này đã có. đã được chuyển vào mô hình riêng của DeepSeek.

Thực tiễn này không phải là hiếm trong lĩnh vực AI, nhưng những người hoài nghi lo ngại về việc liệu DeepSeek có sử dụng dữ liệu đầu ra của mô hình OpenAI mà không tiết lộ đầy đủ hay không. Điều này dường như được phản ánh trong khả năng tự nhận thức của DeepSeek-V3.

Người dùng trước đó đã phát hiện ra rằng khi được hỏi về danh tính của một mẫu máy, nó đã nhầm lẫn với GPT-4.

Dữ liệu chất lượng cao luôn là yếu tố quan trọng trong sự phát triển của AI , ngay cả OpenAI Khó tránh khỏi tranh cãi về việc thu thập dữ liệu từ Internet. Việc thu thập dữ liệu trên quy mô lớn từ Internet cũng đã dẫn đến nhiều vụ kiện về bản quyền. Tính đến thời điểm hiện tại, phán quyết sơ thẩm giữa OpenAI và New York Times đã có. chưa hạ cánh, và một trường hợp mới đã được thêm vào.

Vì vậy, DeepSeek cũng nhận được ý nghĩa công khai từ Sam Altman và John Schulman.

“Thật dễ dàng để sao chép một cái gì đó mà bạn biết sẽ hiệu quả. Khi bạn không biết liệu nó có hiệu quả hay không, hãy làm điều gì đó mới có hiệu quả. những điều khó khăn đều rất khó khăn ”

Tuy nhiên, DeepSeek Team. Báo cáo kỹ thuật nêu rõ rằng dữ liệu đầu ra của mô hình OpenAI không được sử dụng và cho biết rằng hiệu suất cao đạt được thông qua học tập tăng cường và chiến lược đào tạo độc đáo.

Ví dụ: phương pháp đào tạo nhiều giai đoạn được áp dụng, bao gồm đào tạo mô hình cơ bản, đào tạo học tăng cường (RL), tinh chỉnh, v.v. Phương pháp đào tạo theo chu kỳ giai đoạn giúp Người mẫu tiếp thu các kiến thức và khả năng khác nhau ở các giai đoạn khác nhau.

Tiết kiệm tiền cũng là một công việc kỹ thuật, công nghệ đằng sau DeepSeek là cách tốt nhất

DeepSeek-R1 Báo cáo kỹ thuật đã đề cập đến một phát hiện đáng chú ý, đó là “khoảnh khắc aha” xảy ra trong quá trình huấn luyện R1 zero. Trong giai đoạn đào tạo giữa mô hình, DeepSeek-R1-Zero bắt đầu tích cực đánh giá lại các ý tưởng giải quyết vấn đề ban đầu và phân bổ nhiều thời gian hơn để tối ưu hóa chiến lược (chẳng hạn như thử các giải pháp khác nhau nhiều lần).

Nói cách khác, thông qua khuôn khổ RL, AI có thể tự phát triển khả năng suy luận giống con người, thậm chí vượt ra ngoài giới hạn của các quy tắc đặt trước. Và điều này hy vọng cũng sẽ cung cấp hướng phát triển các mô hình AI tự chủ và thích ứng hơn, chẳng hạn như điều chỉnh linh hoạt các chiến lược trong việc ra quyết định phức tạp (chẩn đoán y tế, thiết kế thuật toán).

Đồng thời, nhiều người trong ngành đang cố gắng phân tích sâu báo cáo kỹ thuật của DeepSeek. Andrej Karpathy, cựu đồng sáng lập OpenAI, cho biết sau khi phát hành DeepSeek V3:

DeepSeek (công ty AI của Trung Quốc) khiến mọi người cảm thấy thư giãn ngày nay. được phát hành công khai Một mô hình ngôn ngữ tiên tiến (LLM) đã được xây dựng và đào tạo với ngân sách rất thấp (2048 GPU, 2 tháng, 6 triệu USD).

Để tham khảo, khả năng này thường yêu cầu một cụm GPU 16K để hỗ trợ, trong khi hầu hết các hệ thống tiên tiến hiện nay đều sử dụng khoảng 100K GPU. Ví dụ: Llama 3 (thông số 405B) đã sử dụng 30,8 triệu giờ GPU, trong khi DeepSeek-V3 dường như là mô hình mạnh hơn, chỉ sử dụng 2,8 triệu giờ GPU (khoảng 1/11 so với tính toán của Llama 3).

Nếu mô hình này cũng hoạt động tốt trong thử nghiệm trong thế giới thực (ví dụ: bảng xếp hạng LLM Arena đang diễn ra và thử nghiệm nhanh của tôi hoạt động tốt), thì đây sẽ là một mô hình Rất ấn tượng kết quả chứng minh khả năng nghiên cứu và kỹ thuật trong điều kiện hạn chế về nguồn lực.

Vậy điều này có nghĩa là chúng ta không còn cần các cụm GPU lớn để đào tạo các LLM tiên tiến nữa phải không? Không hẳn, nhưng nó cho thấy bạn phải đảm bảo rằng tài nguyên bạn sử dụng không bị lãng phí, và trường hợp này cho thấy việc tối ưu hóa dữ liệu và thuật toán vẫn có thể dẫn đến tiến bộ vượt bậc. Ngoài ra, báo cáo kỹ thuật cũng rất thú vị, chi tiết và đáng đọc.

Đối mặt với tranh cãi về việc sử dụng dữ liệu ChatGPT của DeepSeek V3, Karpathy cho biết, các mô hình ngôn ngữ lớn về cơ bản không có khả năng tự nhận thức giống con người. Liệu mô hình có thể trả lời chính xác danh tính của chính nó hay không phụ thuộc hoàn toàn vào việc nhóm phát triển có xây dựng một bộ đào tạo tự nhận thức đặc biệt hay không. mô hình sẽ dựa trên tập huấn luyện tốt nhất trong dữ liệu huấn luyện. Đóng thông tin để trả lời.

Hơn nữa, vấn đề không phải là mô hình tự nhận mình là ChatGPT. Xét đến tính phổ biến của dữ liệu liên quan đến ChatGPT trên Internet, câu trả lời này thực sự phản ánh một điều tự nhiên. Hiện tượng “sự xuất hiện của kiến thức liền kề”.

Sau khi đọc báo cáo kỹ thuật của DeepSeek-R1, Jim Fan đã chỉ ra:

Điều này bài viết Điểm quan trọng nhất của bài viết là nó hoàn toàn được thúc đẩy bởi học tập tăng cường và không liên quan đến bất kỳ học tập có giám sát (SFT) nào. Phương pháp này tương tự như AlphaZero - thành thạo cờ vây, Shogi và quốc tế từ đầu thông qua Cờ vua "Cold Start" mà không cần. bắt chước người chơi cờ của con người.

– Sử dụng phần thưởng thực được tính toán dựa trên các quy tắc được mã hóa cứng, thay vì các mô hình phần thưởng đã học được có thể dễ dàng bị "bẻ khóa" bằng học tăng cường.

– Thời gian suy nghĩ của mô hình tăng lên đều đặn khi quá trình đào tạo diễn ra. Đây không phải là tính năng được lập trình sẵn mà là một tính năng tự phát.

– Có hiện tượng tự suy xét, tìm tòi.

– Sử dụng GRPO thay vì PPO: GRPO xóa mạng người bình luận trong PPO và thay vào đó sử dụng phần thưởng trung bình trên nhiều mẫu. Đây là một cách đơn giản để giảm mức sử dụng bộ nhớ. Điều đáng chú ý là GRPO được nhóm DeepSeek phát minh vào tháng 2 năm 2024, đây thực sự là một nhóm rất hùng mạnh.

Khi Kimi cũng công bố kết quả nghiên cứu tương tự trong cùng ngày, Jim Fan nhận thấy kết quả nghiên cứu của hai công ty đều đạt được mục tiêu giống nhau:

· Họ đều đã từ bỏ các phương pháp tìm kiếm cây phức tạp như MCTS, chuyển sang quỹ đạo tư duy tuyến tính đơn giản hơn và áp dụng các phương pháp dự đoán tự hồi quy truyền thống

· Tất cả đều tránh sử dụng các hàm giá trị yêu cầu bản sao mô hình bổ sung, giảm yêu cầu về tài nguyên máy tính và nâng cao hiệu quả đào tạo

· Tất cả họ đều từ bỏ mô hình khen thưởng chuyên sâu và dựa vào kết quả thực tế làm hướng dẫn càng nhiều càng tốt để đảm bảo sự ổn định của quá trình đào tạo

Nhưng cũng có những khác biệt đáng kể giữa hai phương pháp này:

· DeepSeek sử dụng phương pháp khởi động nguội RL thuần túy kiểu AlphaZero và Kimi k1.5 chọn AlphaGo -Master -chiến lược làm nóng sơ bộ theo phong cách, sử dụng SFT nhẹ

· DeepSeek có nguồn mở theo giấy phép MIT và Kimi đã thực hiện tốt các bài kiểm tra điểm chuẩn đa phương thức. thông tin chi tiết phong phú hơn, bao gồm cơ sở hạ tầng RL, cụm kết hợp, hộp cát mã và chiến lược song song

Tuy nhiên, trong thị trường AI có tốc độ lặp lại nhanh chóng này, lợi thế dẫn đầu thường chỉ thoáng qua. Các công ty lập mô hình khác sẽ nhanh chóng học hỏi kinh nghiệm của DeepSeek và cải thiện nó và có thể sớm bắt kịp.

Người khởi xướng cuộc chiến giá mô hình lớn

Nhiều người biết rằng DeepSeek có một công ty được gọi là Tiêu đề "AI Pinduoduo", nhưng tôi không biết rằng ý nghĩa đằng sau nó thực sự đến từ cuộc chiến giá mẫu lớn bắt đầu vào năm ngoái.

Vào ngày 6 tháng 5 năm 2024, DeepSeek đã phát hành mô hình MoE nguồn mở DeepSeek-V2, mô hình này đã đạt được những bước đột phá kép về hiệu suất và chi phí thông qua các kiến trúc đổi mới như MLA (cơ chế chú ý tiềm ẩn nhiều đầu) và MoE (mô hình chuyên gia hỗn hợp).

Chi phí suy luận đã giảm xuống chỉ còn 1 nhân dân tệ trên một triệu token, bằng khoảng 1/7 của Llama3 70B vào thời điểm đó và 70% của GPT- 4 Turbo một. Bước đột phá công nghệ này cho phép DeepSeek cung cấp các dịch vụ cực kỳ tiết kiệm chi phí mà không tính phí, đồng thời cũng mang lại áp lực cạnh tranh rất lớn cho các nhà sản xuất khác.

Việc phát hành DeepSeek-V2 đã gây ra phản ứng dây chuyền ByteDance, Baidu, Alibaba, Tencent và Zhipu AI đều làm theo và giảm đáng kể các sản phẩm mô hình lớn của họ. giá. Tác động của cuộc chiến giá cả này thậm chí còn lan rộng ra Thái Bình Dương, gây ra mối lo ngại lớn ở Thung lũng Silicon.

DeepSeek do đó được mệnh danh là "Pinduoduo của AI".

Đối mặt với những nghi ngờ từ thế giới bên ngoài, người sáng lập DeepSeek Liang Wenfeng đã chấp nhận dòng chảy ngầm Trong cuộc phỏng vấn, anh ấy trả lời:

“Thu hút người dùng không phải là mục đích chính của chúng tôi. Một mặt, chúng tôi hạ giá vì chúng tôi đang khám phá cấu trúc của thị trường. mô hình thế hệ tiếp theo và chi phí là ưu tiên hàng đầu; mặt khác, chúng tôi cũng cảm thấy rằng liệu đó có phải là API hay không. Cho dù đó là AI hay AI thì nó phải là thứ phổ biến và có giá cả phải chăng cho tất cả mọi người.”

Trên thực tế, tầm quan trọng của cuộc chiến giá cả này vượt xa sự cạnh tranh Bản thân nó, rào cản gia nhập thấp hơn đã cho phép nhiều doanh nghiệp và nhà phát triển hơn tiếp cận và áp dụng AI tiên tiến, đồng thời cũng buộc toàn bộ ngành phải suy nghĩ lại về chiến lược định giá. Chính trong giai đoạn này, DeepSeek bắt đầu lọt vào mắt công chúng và nổi lên.

Nghìn vàng mua xương ngựa, Lôi Quân săn trộm nữ thiên tài AI

Một ít Cách đây vài tuần, DeepSeek cũng có sự thay đổi nhân sự đáng chú ý.

Theo China Business News, Lei Jun đã chiêu mộ thành công Luo Fuli với mức lương hàng năm hàng chục triệu và bổ nhiệm anh làm trưởng nhóm người mẫu lớn của Xiaomi Phòng thí nghiệm AI.

Luo Fuli gia nhập DeepSeek, một công ty con của Magic Square Quantification, vào năm 2022. Bạn có thể thấy cô ấy trong các báo cáo quan trọng như DeepSeek-V2 và R1 mới nhất.

Sau đó, DeepSeek, vốn từng tập trung vào bên B, cũng bắt đầu bố trí phía C. Khởi chạy một ứng dụng di động. Tính đến thời điểm viết bài, ứng dụng di động của DeepSeek đứng thứ hai trong phiên bản miễn phí của App Store của Apple, cho thấy khả năng cạnh tranh mạnh mẽ.

Hàng loạt cao trào nhỏ đã khiến DeepSeek nổi tiếng nhưng đồng thời cũng có những cao trào cao hơn. Tối 20/1, mô hình quy mô siêu lớn DeepSeek. R1 với thông số 660B đã chính thức ra mắt.

Mô hình này thực hiện tốt các nhiệm vụ toán học như đạt điểm pass@1 là 79,8% trên AIME 2024, vượt qua OpenAI-o1 một chút ở môn MATH- The; điểm trên 500 cao tới 97,3%, tương đương với OpenAI-o1.

Về các nhiệm vụ lập trình, chẳng hạn như đạt được xếp hạng Elo 2029 trên Codeforces, vượt qua 96,3% người tham gia là con người. Trong các tiêu chuẩn kiến thức như MMLU, MMLU-Pro và GPQA Diamond, DeepSeek R1 đạt lần lượt 90,8%, 84,0% và 71,5%, thấp hơn một chút so với OpenAI-o1 nhưng tốt hơn so với các mô hình nguồn đóng khác.

Trong danh sách tổng hợp mới nhất của đấu trường mô hình lớn LM Arena, DeepSeek R1 đứng thứ 3, đồng hạng với o1.

· Trong các lĩnh vực “Lời nhắc khó” (những câu hỏi có độ khó cao), “Coding” (khả năng viết mã) và “Toán học” (khả năng toán học), DeepSeek R1 Xếp hạng đầu tiên.

· Về mặt "Kiểm soát phong cách", DeepSeek R1 và o1 đồng hạng nhất.

· Trong bài kiểm tra "Lời nhắc khó với Kiểm soát phong cách", DeepSeek R1 cũng đồng hạng nhất với o1.

Về mặt chiến lược nguồn mở, R1 áp dụng Giấy phép MIT để cung cấp cho người dùng Mức độ lớn nhất của Nó được sử dụng miễn phí và hỗ trợ chắt lọc mô hình, có thể chắt lọc khả năng suy luận thành các mô hình nhỏ hơn. Ví dụ: các mô hình 32B và 70B đã đạt được hiệu quả của việc đo điểm chuẩn o1-mini ở nhiều khả năng và cường độ nguồn mở thậm chí còn cao hơn. đã vượt qua Meta vốn từng bị chỉ trích trước đó.

Sự xuất hiện của DeepSeek R1 cho phép người dùng trong nước lần đầu tiên sử dụng miễn phí các mô hình cấp độ o1, phá vỡ các rào cản thông tin lâu nay. Tiếng vang mà nó gây ra trên các nền tảng xã hội như Xiaohongshu có thể so sánh với GPT-4 tại thời điểm phát hành.

Ra nước ngoài và ngừng hoạt động

Nhìn lại quỹ đạo phát triển của DeepSeek, có thể thấy rõ mã thành công của nó. Sức mạnh là nền tảng, nhưng sự nhận diện thương hiệu là lợi thế.

Trong cuộc trò chuyện với "Sau này", Giám đốc điều hành MiniMax Yan Junjie đã chia sẻ sâu sắc những suy nghĩ của mình về ngành công nghiệp AI và những thay đổi chiến lược của công ty. Ông nhấn mạnh hai bước ngoặt quan trọng: thứ nhất, thừa nhận tầm quan trọng của việc xây dựng thương hiệu công nghệ và thứ hai, hiểu được giá trị của chiến lược nguồn mở.

Yan Junjie tin rằng trong lĩnh vực AI, tốc độ phát triển công nghệ quan trọng hơn những thành tựu hiện tại và nguồn mở có thể đẩy nhanh quá trình này thông qua phản hồi của cộng đồng; thứ hai, một thương hiệu công nghệ mạnh. Điều quan trọng là phải thu hút nhân tài và có được nguồn lực.

Lấy OpenAI làm ví dụ. Mặc dù nó gặp phải tình trạng hỗn loạn về mặt quản lý trong giai đoạn sau, hình ảnh đổi mới và tinh thần nguồn mở được hình thành từ rất sớm của nó đã tích lũy được làn sóng đầu tiên tích cực. ấn tượng cho nó. Mặc dù Claude đã trở nên ngang bằng về mặt kỹ thuật trong tương lai và dần dần ăn thịt người dùng bên B của OpenAI, OpenAI vẫn dẫn đầu về số người dùng bên C do sự phụ thuộc vào đường dẫn của người dùng.

Trong lĩnh vực AI, giai đoạn cạnh tranh thực sự luôn mang tính toàn cầu. Ra nước ngoài, tham gia và quảng bá cũng là một cách hay.

Làn sóng mở rộng ra nước ngoài này đã gây ra những gợn sóng trong ngành. Qwen, trí thông minh xuyên tường và gần đây là DeepSeek R1, kimi v1.5 và Doubao v1.5 Pro đã gây xôn xao dư luận ở nước ngoài.

Mặc dù năm 2025 được coi là năm đầu tiên của cơ thể thông minh, năm đầu tiên của kính AI, v.v., nhưng năm nay cũng sẽ là một năm quan trọng đối với người Trung Quốc Các công ty AI nắm bắt thị trường toàn cầu trong năm đầu tiên này, việc vươn ra toàn cầu sẽ trở thành một từ khóa không thể tránh khỏi.

Hơn nữa, chiến lược mã nguồn mở cũng là một nước đi đúng đắn, thu hút một lượng lớn blogger và nhà phát triển kỹ thuật tự phát trở thành “nước máy” của DeepSeek. không nên chỉ Từ khẩu hiệu "AI cho tất cả" cho đến tính toàn diện thực sự của công nghệ, DeepSeek đã dấn thân vào một con đường thuần khiết hơn OpenAI.

Nếu OpenAI cho phép chúng ta thấy được sức mạnh của AI thì DeepSeek khiến chúng ta tin tưởng:

Sức mạnh này cuối cùng sẽ mang lại lợi ích cho tất cả mọi người.

Liên kết gốc