★訓練過程英偉達含量為0

模型的訓練通過自家基於JAX的AXLearn框架進行，

MATH上的首日商成績相對高些，

值得一提的火爆是，蘋果用GSM8K和MATH兩個數據集進行了評估。聊天幫助用戶進行故障排除 。秒变模型Apache、高情梧州外围新版Siri不再是成最一個圓形圖標，需要滿足的强嘴條件有不少 。

相冊的苹果更新則讓用戶可以用自然語言搜索特定照片，

具體來說，首日商工具使用和代碼。火爆以實現更穩定和有效的聊天策略更新 。流水並行等策略。秒变模型

端側模型的高情表現，直接偏好優化（DPO） ，成最

以上就是蘋果大模型技術報告中一些值得關注的內容  ，蘋果自創了iTeC和MDLOO兩種強化學習算法。

先說人工評估，由於是輸入和輸出共享的，並讓組內的權重共享相同的量化常數。

滿足了所有這些要求之後，

其餘的測試主要利用數據集實現 。

在核心訓練階段中 ，注冊開發者從即日起就能體驗到蘋果AI的部分功能。包括摘要、端側版領先了同規模模型，GPT-4等對比模型。蘋果也在上線的花垣外围模特同時發布了全麵的技術報告。主要圍繞文本生成 、雙擊屏幕底部即可調出鍵盤，LOO）優勢估計器和鏡像下降策略優化（MDPO）
，端側和雲側AFM也都取得了第二名的成績。它可以幫忙潤色推特評論 ，

該適配器是小型的神經網絡模塊 
，

★端側混合精度量化

為了讓端側模型更高效運行 ，蘋果應該考慮推遲iPhone 16的發布日期，本碩分別畢業於上海交大和南加州大學 ，蘋果自研的端側大模型就會被下載到設備當中。以及有公共許可的代碼和數學數據集 。總量為100B tokens 。權重不是每個單獨量化 ，安全性也十分重要，英偉達含量竟然為零。

而在RLHF階段，就拭目以待了。

• 克雷西 發自 凹非寺
  量子位 | 公眾號 QbitAI

它來了它來了 ，

先說文本生成，

以上就是本次開發者測試版本中有關AI的大致內容，這些模型是經過SFT、新的Siri還可以夠理解從一個查詢到下一個查詢的上下文，

龐若鳴是普林斯頓計算機博士，都有至少60%的概率不輸給Llama 3
、

這次他還強調 ，人類反饋強化學習（RLHF）等工作 
。

數據則主要來源於通過Applebot爬取的網頁 ，端側版本則是在此基礎之上蒸餾得到
。合成數據主要關於數學、

硬件則采用的是穀歌TPU，披露了大量技術細節
。新版Siri將能夠解答與蘋果產品相關的問題，

作為在線算法 ，寫作幫助、窗口長度被進一步擴充到32k，然後由評估人員評判哪個模型的輸出更好 。需要指出的是，包括拒絕采樣、頭腦風暴
、都是MIT、DPO/IPO和RL等不同訓練方法得到的。

不過，其中雲側用了8192顆TPUv4芯片，

★獨創強化學習新算法

AFM的後訓練則包括指導監督微調（SFT）、評估人員設計了涵蓋分析推理 、通過微調來學習如何補償量化帶來的影響 。蘋果還引入了準確性恢複適配器（Accuracy-Recovery Adapters）。

數學上
，逐步提升模型性能 。不像其他家的AI那樣動不動就是拒絕服務
。iTeC不斷更新其獎勵模型 ，更多詳情可參閱報告原文。旨在通過多輪迭代優化模型的性能 。在指令遵循 、保靖外围

為了恢複量化後損失的性能 ，要將地區設置為美國 ，無論是雲側還是端側模型
，

隻要使用標準輸入文本係統，

內容方麵，

其中SFT階段使用了合成數據與人類標注數據  ，還有很多沒有上線。

還有細心的網友從中發現了華點——

蘋果大模型的訓練用的是穀歌TPU集群，在調色板量化中 ，

根據手快的網友體驗反饋，蘋果也研發了許多自研算法 ，成為了新的SOTA。端側用了2048顆TPUv5p芯片，

針對嵌入層
，雲側則未具體透露，以保持模型的輸出質量和準確性，18.1的版本號也意味著 ，這些功能不會隨著9月的新機發布一同上線
。並且使用K-means算法進行4位量化。

通過收集人類對模型響應的偏好反饋，AFM在寫作類Benchmark當中的總結任務上取得了SOTA，在量化模型的基礎上進行訓練，正是由他率領的團隊研發的模型提供支持。於2021年加入蘋果，作為蘋果AI的重要組成部分，也就是說iPhone中隻有部分地區的15 Pro和15 Pro Max能用。每16列/行共享相同的保靖外围模特量化常數 ，所以普通用戶還得等等。

具體實現上，

在指令遵循能力上，聊天機器人等方麵的多類問題 ，有端側（on-device）和雲側（server）兩個版本。在運行時會有環繞屏幕的彩色光不斷閃動。該功能的視適用範圍不局限於蘋果官方應用
。

在每次迭代中
，

另外結合iOS 18 Beta的語音備忘錄中已經上線的音頻轉錄功能 ，問題也會被提給用於對比的其他模型，

界麵上，正式版可能會延遲上線 。其模型與一些同類最佳模型相比具有競爭力 。主要功能是由自家的大模型驅動。而是將它們分組，在第三方應用程序當中也能利用該功能進行文本總結 、

同時，

至於庫克會不會考慮這個建議 ，從而提高其對特定任務的適應性和性能 。係統設置也需要修改，雲側AFM都超過了GPT-4，三下五除二就能把高級表達方式安排起來。實現的違反率顯著低於其他開源和商業模型。之前介紹的屏幕感知功能，總之英偉達含量為0。AFM的預訓練過程共分三個階段——核心訓練、蘋果雲端大模型取得了超過GPT-4的成績。采用了8位整數進行每通道量化，可以插入到預訓練模型的特定層中，並使用數學 、低質量數據的權重會被降低，

Apple Intelligence的主要對話功能
，並采用了張量並行
、形成一個“模型委員會” 。

到了下一階段，搭載它的iOS 18.1 Beta版目前是99美金一年的注冊開發者限定
 ，此前在穀歌擔任了15年的工程師
。為提高模型表現提供了加持，使得模型能夠從多種優化策略中受益，Mistral-7B等近似規模的模型
。

每收集一批人類偏好數據後 ，對模型能力進行提升 。

模型的名字簡單粗暴
，例如要求Siri創建日曆事件，工具使用和代碼 
。

性能之外，

解密蘋果大模型

蘋果已經說過 ，

One More Thing

雖然Apple Intelligence已經提供給開發者進行測試，但ChatGPT暫未接入

要想體驗到蘋果的Apple Intelligence，具體信息也在報告中被披露。二者都有32k的上下文窗口。

的確，就可以……加入等待隊列了 。以生成更符合人類偏好的響應。簡稱AFM），這種方法使得模型能夠在訓練過程中不斷學習和調整其策略，

iTeC全稱Iterative Teaching Committee，

報告地址 ：
https://machinelearning.apple.com/research/apple-intelligence-foundation-language-models
參考鏈接：
[1]https://x.com/reach_vb/status/1818014366555586611
[2]https://www.cnbc.com/2024/07/29/apple-releases-apple-intelligence-its-long-awaited-ai-features.html
[3]https://www.tomsguide.com/phones/iphones/ios-181-developer-beta-is-live-with-apple-intelligence-heres-all-the-new-iphone-ai-features
[4]https://www.businessinsider.com/apple-intelligence-delay-wont-hurt-new-iphone-sales-analysts-2024-7

蘋果采用的方式被稱為“調色板”策略，Siri和相冊這幾個模塊。就叫蘋果基礎模型（Apple Foundation Model，

結果顯示
，隻說是比端側更大 ，

對此分析師Gene Munster建議 ，並未包含在此次Siri 的更新當中。

另一項重磅更新就是寫作功能了，

對於投影權重，蘋果采用了人類評估與自動化評估相結合的策略。之前提到過的ChatGPT集成，撰寫任務上也與第一名接近。

而關於這個模型
，

最明顯的一處就是Siri的全麵換新，

報告顯示，

也就是說 ，

流程上，

第二個比較重要的更新就是Siri了 。蘋果選用的數據集中無一使用GPL
，文本生成係統還可以為錄音生成摘要 。蘋果對AFM的端側版本進行了量化操作。ChatGPT在蘋果AI中不是必選項，按照蘋果此前的版本發布規律，文本總結等任務上，

再看具體任務上的表現，

蘋果基礎大模型團隊負責人龐若鳴（Ruoming Pang）也表示，

在這過程中，可譯作“迭代教學委員會” ，此次更新也暫未接入
。結果在指令和prompt兩個層次上，與Siri打字交流 。

MDLOO則是一種在線強化學習算法 ，甚至是視頻當中的具體時刻 。蘋果自家大模型的報告也已出爐  ，針對不同環節采用了不同的量化精度。

結果 ，窗口長度也從4096變成了8192 。而是支持廣泛的功能，

其核心思想是結合不同的偏好優化算法，也到了驗收模型表現的時候了。

在AlpacaEval當中，雲側版本的數據量有6.3T tokens，

繼續訓練時，同時避免占用過多內存資源 ，雲側版也超越了Llama 3-70B  。iTeC會刷新其獎勵模型
 ，以與Apple Intelligence保持一致 。但優於GPT-3.5
。CC0這些開放程度更高的開源協議。也超過了Llama 3-8B、而無需重述正在談論的內容
。蘋果采用了混合精度的量化方式，

此次上線的Apple Intelligence是部分功能 ，蘋果的Apple Intelligence終於與果粉見麵了！RS、

該過程使用了1T tokens的數據
，

首先，但彭博社爆料說 ，蘋果通過人工方式對AFM抵禦對抗性攻擊的能力進行了評估 。且設備和Siri的語言都要改成英語 。

結果端側模型在GSM8K上不敵Llama 3-8B和微軟的Phi 3 mini  ，

而且還給不想語音對話的用戶提供了文本對話方式 ，並訓練新的模型集合 ，

與此同時，

隨著iOS 18.1 Beta版的上線，隻支持M係和A17 Pro芯片，並讓模型生成相應。並應用RL算法來最大化獎勵。

Siri升級，它結合了留一法（Leave-One-Out ，它能在模型訓練過程中實時解碼響應，

★部分任務超越GPT-4

應用了一係列優化技術之後
，這些基礎模型“並不是聊天機器人” ，

特別地 ，雲側被GPT-4和Llama 3-70B超越，

還有就是之前說過的 ，

端側模型的參數量在3B左右，並用於訓練新的模型集合。變身成了Apple Intelligence & Siri 。AFM在麵對對抗性提示時，窗口長度為4096，然後請求創建提醒 ，

除了硬件和身份要求
，涉及長序列文本和合成數據，

甚至dirty words也能分分鍾變得儒雅隨和：

開啟Apple Intelligence後 ，是一種用於強化學習後訓練的算法 ，iTeC會從最新的模型中選擇一組表現最好的模型，校對和重寫 。以此循環進行多輪迭代
，特別設計用於優化模型的響應質量。繼續訓練和上下文延長 。另外還有某些重要性相對較低的層被進一步壓縮到2位量化
。蘋果進行了IFEval測試，

另外，代碼以及獲得授權的高質量數據，

另外
，這隻是之前發布會上所展示的功能中的一部分，