卷首語
本週是精采的 AIGC 年會,不過因為有事不便參加,看了許多臉友的分享感覺非常精采!
其中 AmazingTalker 更是亮出了一張投影片在臉書上瘋傳,數字看起來非常完美,但其中勢必需要一些決心與改革才能在短時間達到這樣的成績。
無論是透過 AutoGPT 理財的案例,還是基於中文醫學的大型語言模型華駝,越來越多的跡象可以看到,AI 在不同領域上均開始發揮影響力。
在過往的電子報中也不斷透過案例來幫助大家想像未來 AI 的發展,希望讀者們也能想像未來如何將 AI 用於自身領域!
這邊引用知名 VC 投資人 Chamath Palihapitiya 在 Podcast 中所提到的:『過往 40、50 人能做到的事前,現在完全可以由 3~4 人就完成,資金也不再如過往需要投資那麼多』。
這將會對產業有巨大的影響,VC 的投資邏輯也需要重新調整,未來創業公司人均產值需要更高,可以融到的資金也會越來越少,而『人才』的價值也會更加顯現。
🛠️ 本週 AI 新聞 & 工具
1. MLC LLM:手機也能跑的 LLM
LLM(大型語言模型)雖然很厲害,但需要在很高階的硬體才能運行(成本極高),所以目前也都掌握在大公司手裡。
不過未來大型語言模型將會往模型變小及降低成本的方向不斷前進,這個專案就是其中一個代表。
▎專案的主要構想
讓 LLM 可以在佈署到消費級硬體上,並根據使用者需求優化性能。
目前 MLC LLM 已經支援在 iPhone、MacBook、Windows 等系統上執行,並借助一些開源生態系統來輔助實現在硬體上的佈署。
▎佈署到消費級硬體上象徵什麼?
消費級硬體就是我們日常使用的設備,例如手機硬體、電腦硬體、智慧音箱等。
一旦 LLM 可以在這些日常化硬體上執行,其意味著:
1. 更廣泛的應用
LLM 可落地於不同場景中,像是智慧客服、智慧機器人、智慧翻譯機器人、智慧音箱等,不同場景上解決不同問題。
2. 使用的門檻降低
因為成本更低,讓更多的企業跟使用者能夠參與相關的研究及應用中。
3. 隱私保護
在本機端執行可以大幅降低隱私問題,並且用更快的速度運行語言模型。
4. 加速創新與研究
當 LLM 可以在消費級硬體上運行時,更多的研究人員和開發者可以獲得這些資源,進行更多的實驗和創新,這有助於推動相關領域的研究與發展。
5. 提高個人化體驗
隨著 LLM 在消費級硬體上的佈署,開發者可以為用戶提供更加客製化的體驗。這包括針對特定用戶需求進行優化,以及結合用戶個人數據來提供更貼心的服務。
2. Opus Clip:AI 影片剪輯 - 短影片快速生成
這是一個專門針對短影片,如 Reels、Shorts 和 Tiktok 的 AI 剪輯影片,影片範例是針對人物專訪進行剪輯。
可以看到自動針對人物進行區域剪輯、上字幕、甚至是加上 emoji,很實用的將影片二次分割成不同媒介可再使用的素材。
不過目前要先排隊才能用
3. 如何透過 AI 在 24 小時內賺到 218 美 (臺幣 6700元)
很瘋狂,國外這名 Joshua 真的很猛,他給了 autoGPT 個人銀行、財報信用評分還有 e-mail 的權限,讓它成為自己的理財專家,一步步優化財務狀況。
竟然真的在不到 24 小時內賺到了臺幣將近 7000 元!!!
雖然中間蠻多資料風險跟隱私問題,但他這個實驗精神正好讓我們更好的想像未來 AGI 時代來臨的一些畫面,下面是過程的翻譯及校正,推薦一看!
====================
▍GPT+人工校正翻譯 ▍
====================
1. 首先,尋找沒有的付費訂閱項目
使用 DoNotPay 連接,我讓它登錄到我的每個銀行賬戶和信用卡,並掃描 10,000 多筆交易。它發現我的賬戶每月有 80.86 美元的無用訂閱在花錢後,取消了每一個無用的訂閱。
2. 透過 ChatGPT 取消健身房
機器人開始工作寄 e-mail(使用 USPS Lob API),自動與代理聊天,甚至點擊線上按鈕來取消。既然已經輕鬆省了一筆錢,再來便是更深入。
該步驟 Demo: https://twitter.com/jbrowder1/status/1644159897817485313
3. 找到不合理的交易,寫信談判退款
我要求它掃描相同的交易,並從中找到可以輕鬆獲得退款的交易。它從我的電子郵件中,確定了一張聯合航空公司從倫敦到紐約的機上 WiFI 收據,價格為 36.99 美元。然後它問我:“這正常嗎?”
當我說:“不”時,它立即起草了一封有說服力且堅定的法律信函給美聯航要求退款。這封信既合法(引用聯邦貿易委員會的法規)又能令人信服。然後機器人就通過他們的網站將信件發送給他們。
48 小時內,美聯航同意退款(+ 36.99 美元)。
4. 查看信用評分
省錢的部分先告一段落,我向 GPT-4 詢問我的信用評分。
透過 Array API,它得到了我的分數和報告,這裡沒有廣告也沒有網站試圖向我推銷信用卡。
5. 請 ChatGPT 去談判(GPT-4)
現在是時候在我的賬單上釋放 GPT-4 了。因為我是 Comcast 的客戶,所以我請它針對我的賬單折扣進行談判。
當 Comcast 提供 50 美元的折扣時,機器人拒絕了並表示:『不,折扣不夠多。』最終機器人得到了它 100 美元的折扣。
GPT 3.5 從來沒有用這樣的談判方式反擊對方。
該步驟 Demo: https://twitter.com/jbrowder1/status/1652187042334519298
▎成果:不到 24 小時內收獲 217.86 美元
我已經在不到 24 小時內收獲了 217.86 美元,還有十幾個其他爭議還沒解決。
我的目標是讓 GPT-4 賺到 10,000 美元。我們正在構建 DoNotPay Chat,以作為 ChatGPT 插件在我們的網站上甚至通過 iMessage 來提供。
Twitter 來源: https://twitter.com/jbrowder1/status/1652387444904583169
4. 科學家利用 AI 解碼大腦研究,準確率最高達 82%
科學家利用類似於 ChatGPT 的 AI 模型,解碼人類思想準確度突破以往新高,為大腦成像技術帶來了新的可能,也引起了隱私問題的關注。
▎實驗
德克薩斯大學奧斯汀分校的研究人員在《自然神經科學》期刊上發表了這項研究。
他們利用功能性磁共振成像(fMRI)收集了三名受試者在聆聽敘述故事時的大腦記錄,並通過分析這些記錄,確定了與單個單字相對應的特定神經刺激。
▎為什麼過往 fMRI 無法準確識別大腦信號?
我們可以把 fMRI 想像成一個高清晰度的相機,可以拍攝出腦部不同區域的活動情況,就像相機可以拍攝出物體的細節一樣。
但是,fMRI 拍攝時的時間解析度較低,就像相機拍攝時快門速度比較長,所以如果有一個想法在腦中持續存在很長時間,就會像物體在相機鏡頭前停留很長時間一樣,導致拍攝出來的影像包含了多個詞彙的資訊,就像相機拍攝出來的照片包含了多個物體的細節一樣。
雖然 fMRI 圖片品質很高,但一個想法可以在大腦信號中持續存在長達 10 秒,導致記錄捕捉到大約 20 個以典型速度發音的英文單字的組合信號。
▎以下行為所測得的 fMRI 準確率
- 聽錄音(感知語音):72-82%解碼準確度
- 心中想像一分鐘的演講:41-74%準確度
- 觀看無聲皮克斯電影片段:解碼受試者對電影的理解達到 21-45%準確度
▎總結
在破譯人類思想這件事有個巨大的問題那就是『心裡隱私』。不過研究團隊也發現,使用他人的腦部數據來訓練 AI 模型的效果不佳,因此使用受試者自己的腦部記錄進行訓練非常重要。
受試者還可以通過一些技巧來防止自己的腦部活動被解碼,像是數數、隨機想出農場動物或講述不同的故事,都會使解碼的準確性降低。
這個研究對於理解人腦認知與語言產生等高階認知有著重大突破。
高精度的腦思維解讀技術也可為診斷和治療腦神經疾病提供新的手段,例如用於精確理解病人的語言障礙、記憶力下降等症狀,並提供更加個性化的醫療干預。
5. 中文醫學的 LLM 機器人,華駝
好期待其它各種領域的應用!
這應該是第一個中文醫學的 LLM 專案了,據說下一個要叫做『扁鵲』,因為扁鵲是古代五大名醫之首。
這個專案開源了兩個模型,分別是 LLaMA-7B 和 ChatGLM-6B-Med。
首先透過醫學知識圖譜和 GPT-3.5 的 API 建構了中文醫學指令資料集,並透過該資料微調 (Fine-tune) LLaMA-7B 的模型。
並基於相同的資料,訓練了醫療版本的 ChatGLM 模型: ChatGLM-6B-Med。
除此之外,該專案還嘗試用 GPT-3.5 的 API 將醫學文獻中的【結論】作為外部資訊來融入多輪對話中,在此基礎上對 LLaMA 模型進行了指令微調。
不過目前只開放針對『肝癌』單個疾病訓練的模型參數。未來將計畫發佈融入文獻結論的醫學對話資料集,並且會針對“肝膽胰”相關的 16 種疾病訓練模型。
GitHub Repo: https://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese