華國古代有句諺語，叫“山中方七日，世上幾千年”，尼蘭詹現在的感覺和這句諺語差不多。
他簡單洗漱一下就被帶往了META在紐約的總部，扎克伯格用虔誠的表情看著他：“巴拉蘇布拉馬尼安教授，我知道你在人工智能領域有著超出尋常的造詣。”
尼蘭詹心想，自己這么難念的姓氏，扎克伯格能念得如此清晰，也真難為他了。
緊接著，扎克伯格的話就開始出乎他意料了。
我在人工智能領域有著超出尋常的造詣？尼蘭詹在思考這句話，是不是又有什么坑，不過轉念一想扎克伯格這樣的大佬，世界頂級富豪，不至于要坑他啊。
而且自己身為石溪分校人工智能領域的教授，說超出尋常的造詣，倒也不是不行。
“我確實對人工智能頗有自己的一番見解。”尼蘭詹微笑著說道，過去一年多被監獄折磨的日子終于過去，他要迎來新生，自信的笑容、從容的坐姿、睿智的大腦終于在他大腦內又占據了上風。
扎克伯格聽完后笑得更開心了，“不愧是倫道夫的教授，我就知道你肯定不一般！”
扎克伯格把尼蘭詹從監獄里撈出來，倒也沒費多大功夫，畢竟他可是驢黨長期鐵桿合作伙伴，給驢黨不知道捐了多少錢。
尼蘭詹又不是真的犯事了，聯邦調查局調查來調查去也沒找到尼蘭詹和阿波羅登月的關系，沒有找到有決定意義的證據。
之前一直關著他，不過是因為把他當背鍋的，一名沒有任何背景的印度裔教授，來承擔華國21世紀率先登月的黑鍋，好像還挺合適。
但當扎克伯格出手時，尼蘭詹又變成了微不足道的小人物，他輕而易舉就把對方給撈了出來。
而且對方能被關一年多，說明應該確實有兩把刷子。
“巴拉蘇布拉馬尼安教授，你對大語言模型怎么看？”扎克伯格問道。
尼蘭詹大腦開始高速運轉起來，畢竟這可是關乎到自己的安危啊！得表現出價值，他才能在外面一直被保釋，甚至是無罪釋放。
他內心苦笑了一聲：這叫什么事，自己明明就無罪，現在居然還要表現出價值才能無罪，這國怎？
“我認為這是一個很有發展潛力的方向，我前幾年在ACL會議上發表的論文《DeFormer:DposingPretrainedTransformersforFasterQuestionAnswering》針對的就是Transformerba色dQA模型的痛點全層輸入寬自注意力導致計算慢和內存高予以解決，我提出DeFormer，一個分解的Transformer變體。
在較低層，DeFormer用問題寬和段落寬自注意力替換全自注意力，避免問題和段落序列的交叉計算。
這允許獨立處理輸入文本，實現段落表示的預計算，從而大幅減少運行時計算。
DeFormer結構與Transformer相似，可直接用預訓練權重初始化，并在QA數據集上微調。
我們的實驗顯示，DeFormer版本的BERT和X在QA任務上加速4.3倍以上，僅通過簡單蒸餾損失損失1準確率。”
尼蘭詹說的是他2020年在ACL會議上發表的論文，是當時LLM優化領域的經典工作，當時LLM流行的模型叫BERT，這篇論文直接構建在預訓練Transformer上，LLM的瓶頸，也就是計算成本，在下游任務中凸顯，這篇則一定程度上提出了解決思路。
“包括我在2020年的另外一篇工作，其實和LLM的核心，也就是多層注意力有著類似的核心邏輯”
尼蘭詹自然不是水貨，他在人工智能領域確實浸淫多年，有不錯的成果，手上有好幾篇頂會文章，都和LLM有關。
那還是2020年，當時大模型還名不見經傳呢，在人工智能領域屬于邊緣化的方向。
扎克伯格是花了很多冤枉錢，把臉書改名META錯誤估計了元宇宙的到來時間，但不代表他沒腦子，單純因為尼蘭詹是林燃的教授，就找他來。
尼蘭詹自己真有幾把刷子，也是很重要的原因。
大模型里的關鍵工作，包括自注意力機制、多頭注意力、位置編碼這些，尼蘭詹都有深入的研究，畢竟他研究的重要方向之一就是NLP。
扎克伯格欣喜過望，覺得自己找對人了。
“巴拉蘇布拉馬尼安教授，在訓練LLM中，你是如何處理過擬合或者欠擬合問題呢？”
“大規模訓練，預訓練涉及在海量無標簽數據上學習通用表示，我們可以通過掩碼語言建模或下一句預測；另外微調在特定任務數據集上調整權重，實現遷移學習。
針對過擬合，我認為使用正則化和dropout，比如說在BERT變體中dropout率0.1，并應用早停機制；欠擬合時，增加模型深度或數據增強。
在之前的項目中，我通過梯度裁剪處理訓練不穩定，在GLUE基準上將過擬合率從15降至5，這能幫助大模型訓練在多任務適應中更高效。”尼蘭詹成竹在胸。
問這個，對我而言不是小意思？
扎克伯格后續又問了一些關于參數高效微調、多模態模型主要挑戰、幻覺成因及緩解策略等問題，尼蘭詹對答如流。
扎克伯格聽完之后，確定自己找對人了。
對方被關在監獄一年多時間，出來還能侃侃而談，追上最新進度，一眼就是大模型領域的先驅人才。
再者，對方還教出了倫道夫·林這樣的頂級天才，對方能搞深紅，我們META在巴拉蘇布拉馬尼安教授的帶領下，搞個深藍出來不過分吧？
扎克伯格本來就保持笑容的臉龐笑得更開心了：“巴拉蘇布拉馬尼安教授，歡迎你加入META，未來將由你擔任META的首席科學家，帶領我們一路前行。”
他按了下桌上的按鈕，META的工作人員走了進來，拿來了一份合同，扎克伯格遞到尼蘭詹面前：“巴拉蘇布拉馬尼安教授，恭喜你，你將成為億萬富翁。”
尼蘭詹拿起來一看，驚呆了，年薪一億美元。
這個數字都讓他有點不敢簽了。
扎克伯格能把他撈出來，那肯定也能把他再送進去。
一億美元的年薪，自己要是做不出東西來，到時候不會被關到死吧？
“老板，這個數字是不是太多了一些？”尼蘭詹小心翼翼道。
扎克伯格也震驚了，居然還有印度裔會主動嫌工資太高？META印度裔高管一大把，印度裔的科學家也不在少數，都只會和他說我有多少多少貢獻，暗示能不能加薪。
尼蘭詹還是他見過第一個，覺得工資太高的印度裔。
“不，巴拉蘇布拉馬尼安教授，你放心，這個價碼一點都不高。
你剛從監獄里出來，還不清楚這個世界最近這一年發生了什么。
你要知道發生了什么，你就會知道，這個數字很合理。”
扎克伯格說完之后，尼蘭詹又粗略看了一遍，然后在合同上簽下自己的名字。
扎克伯格面帶笑意，和他握手拍照留念。
第二天，META官方就發表了對外公告：
“公司將任命知名人工智能專家尼蘭詹·巴拉蘇布拉馬尼安教授為公司首席科學家，負責領導人工智能大模型的研究工作。
這一任命正值生成式預訓練Transformer模型橫空出世，引發全球AI革命之際，Meta致力于加速開源AI創新，推動更安全、更高效的AI技術發展。
尼蘭詹·巴拉蘇布拉馬尼安教授目前任職于紐約州立大學石溪分校計算機科學系，擁有超過15年的自然語言處理（NLP）和機器學習研究經驗。
他的開創性工作包括開發DeFormer框架，用于優化預訓練Transformer模型在問題解答任務中的效率，以及探索事件表示和注意力機制在用戶人格預測中的應用，這些成就已發表于頂級會議如ACL和AAAI，并被廣泛引用。
教授的專長將助力Meta在Llama系列大模型上的持續創新，確保AI技術在社交、元宇宙和全球連接中的應用更具包容性和可靠性。
作為首席科學家，巴拉蘇布拉馬尼安教授將領導MetaAI研究團隊，聚焦于多模態模型優化、幻覺緩解和可持續計算等關鍵領域。他的加入標志著Meta在AI領域的戰略投資進一步加強，旨在為全球用戶提供更智能、更安全的數字體驗。
關于Meta：Meta構建技術，幫助人們連接、發現社區并發展業務。通過我們的應用和服務，我們致力于讓世界更緊密相連。”
扎克伯格隨即發表臉書稱：“在GPT模型開啟AI新時代的當下，我們需要頂尖人才來引領開源AI的未來。
尼蘭詹教授的深厚學術背景和實際創新能力，將幫助我們構建更高效、更負責任的大模型，推動人類與技術的和諧共進，我已經迫不及待想要和尼蘭詹·巴拉蘇布拉馬尼安教授合作了！”
市場上更加關注的是尼蘭詹另外一個身份，倫道夫·林的博士導師。
2022年11月，Meta才宣布將裁員11000名員工，2023年的3月中旬，Meta公司又宣布將再裁員1萬人。
接連裁員，聚焦AI，降本增效，META對外放出的消息非常明確。
當天美股，META股價大漲超7個百分點，一家市值1800億美元的公司，光是招募尼蘭詹釋放的信號就讓他們的市值增加了100億美元。
尼蘭詹一百年的工資都有了。
尼蘭詹回到家中才知道自己被關在監獄的這段時間，外界發生了什么。
“什么大模型成顯學了，現在的科技巨頭們動輒必提大模型？”
“GPT也太強了，我之前就覺得LLM這條路大有可為，果然如此。”
“我怎么感覺深紅比GPT還要更好用啊？”
深紅只開放了華國手機號注冊，沒有開放外網注冊，采取的是和GPT類似的策略，只對特定區域開放。
因此國外用不了深紅，但Youtube和TikTok上到處都是深紅的使用視頻。
畢竟大把在華國的外國人和在國外留學的華國人，都會把這些分享到外網上。
簡中互聯網和外網確實存在一定程度上的隔離，但這種隔離非常薄，薄薄的一層紙。
外網的ai愛好者們，看著深紅都要流口水了，這玩意免費，還比GPT看上去更好用。
GPT4可是要收費的。
尼蘭詹內心感受到了巨大的壓力，GPT4，他都不確定自己能不能搞定，更何況深紅。
他也不敢打電話給林燃，臉皮允許他這樣做，但被聯邦調查局帶走的經歷，讓他不敢這么做。
萬一后面又給你安上個莫須有的罪名，那不完蛋了？
現在自己可是億萬美元年薪的頂級打工人，印度裔的天選之子，印度本土報紙都稱呼他為深紅之父，認為深紅是林燃從尼蘭詹手里偷走的技術。
印度媒體就是這么自信。
甚至有印度報紙呼吁尼蘭詹應該把技術傳授給印度企業，華國有深紅，印度也得有白象！
這是因為印度和華國之間的競爭，被稱為龍象之爭。
尼蘭詹開始打電話呼朋喚友，把自己印度裔的朋友們都給招來META，象群才能發揮最大的威力！
一頭象在叢林里，談不上有什么威懾力，但一群象在叢林里，哪怕百獸之王也得退避三舍。
本身他作為META首席科學家，除了待遇外，也有招人的權利。
META的LLM組將集合象群的力量，尼蘭詹心想，還是算了，還是得招點做事的華裔進來，我再想想，我有哪些交好的華裔教授，讓他們推薦點學生來干活，得是精銳中的精銳才行，只要水木和燕大這兩所大學出來的，不對，SJTU也行。
尼蘭詹恢復理智之后就知道，一個組如果全是印度裔，那就會面臨一個問題，大家都只有戰略上的思考，而缺乏戰術上的執行，這樣顯然是不行的。
尼蘭詹拖家帶口搬去了加州，至于保釋期內不能離開紐約也被扎克伯格用鈔能力改成了保釋期內不能離開阿美莉卡。
作為整個META最受關注，擁有最多資源的部門，扎克伯格基本上每天都會去AI實驗室視察，他發現，這里的印度裔和華裔越來越多，白人越來越少。
一個月后，整個人工智能研發的辦公室里，兩百來號人，只有印度裔和華裔，沒有白人了。
“很好，我們走在了正確的道路上。”扎克伯格心想。
如果說扎克伯格發現了新大陸，找到了尼蘭詹擔任首席科學家，高山流水覓知音，成功找到了自己的鐘子期的話，那么百度就陷入了空前的低潮。
深紅的橫空出世導致文心一言還沒誕生就淪為了路邊一條。
文心一言只開了新聞發布會，只是開放了申請，百度根據申請開放內測名額。
結果文心一言和深紅的對比視頻被b站up主發在b站上，對比過于強烈，二者就像博士生和小學生一樣，百度實在是沒繃住，第二天就全面關閉了內測。
發布了嗎？發布了，有用戶能用到嗎？沒有，主打一個如發。
內測變成只內不測。
百度面臨著空前危機，甚至百度內部都不知道該怎么辦好。
因為他們原定計劃是要收費的，和GPT一樣，文心一言得收費，五十一個月收費，第一個人工智能大模型，第一個收費，第一個實現盈虧平衡，然后擴大投入，提高使用體驗，打死競爭對手，一統人工智能大模型簡中互聯網市場。
百度做的夢是這樣，形成一個正循環，不斷滾雪球。
結果在第一步就被卡死了。
你這小學生模型還收費？
深紅推出四天后，用戶數就突破了一千萬，深紅的用戶數破千萬慶祝微博下面，點贊數最高的評論是一張圖，左邊是文心一言右邊是深紅，然后下面是兩個數字：
意思是深紅已經有一千萬的用戶，而文心一言只有0，后者還開了聲勢浩大的發布會，而前者只有一個八秒鐘的短視頻。
這樣的對比是如此明顯，明顯到這個數字本身帶來的震撼效果在網民們內心給百度的棺木敲下了第一顆釘子。
百度內部的壓力太大了，大到爆炸。
整個百度大樓從文心一言發布之后的第二天開始，就處于一個低氣壓的狀態，大家都不敢高聲說話，生怕觸怒了大老板，到時候直接把你給裁了。
百度大樓的會議室里，各路高管齊聚一堂，除了高管外，百度內部人工智能領域的專家們也都在。
“Boss，騰訊這不是打文心一言，這是在打我們的臉啊！這是赤裸裸的挑釁行為！”秘書說道，“我認為這次必須要有人負起責任來，明顯有人對技術研判不夠到位，有人錯估了形勢，在文心一言還沒有成熟前為了搶功就想著搶占市場。”
一位分管行政工作的高管，矛頭直指CTO王海峰。
王海峰誠懇道歉：“我確實錯估了形勢，沒有想到騰訊的進展會這么快，兩個月時間就能夠追上甚至是反超OpenAI的進度.”
沒等王海峰說完，Ro逼n就打斷道：“誒，海峰，好了，我想這個世界上事先應該沒人能想到。
這件事就和林燃教授一年多登月一樣，他們完成的是不可能完成的奇跡，我不會因為這個原因就責怪下屬，這屬于是非戰之罪。”
Ro逼n這話一出，大家知道，這次的會議不是找問題，搞斗爭的會，說的更直白一點，不是找人來背鍋的，而是希望能解決問題的。
“海峰，我們多久能夠追上？”Ro逼n問道。
王海峰坦誠道：“我預計7月能夠追上GPT3百分之八十的效果，12月能夠達到GPT3的效果，明年7月預計能夠達到深紅的效果。”
王海峰停頓片刻后說道：“深紅最壞的一點在于，它不開源，我們沒辦法借鑒。”
不是抄襲，是借鑒！
“GPT不開源，那是從GPT3開始不開源的，GPT1和GPT2那可都是開源的。
開源意味著我們好歹知道它是怎么做的，它用到了哪些技術，哪怕具體的技術細節、工程實現方法不知道，我們也能靠時間慢慢磨出來。
但深紅不一樣，深紅完全就是黑箱，甚至是不是和GPT是同一條技術路線，我們也不知道。
深紅為什么在中文語境下的表現會出色這么多，對中文文本的處理堪稱卓越，他們用到的是已有技術還是林燃教授獨創技術，我們同樣不知道。
我認為我們現在必須要做一件事。”
“什么事？”Ro逼n問道。
“挖人，我們必須從深紅那挖人來，搞清楚他們到底是怎么做的，情報越多，我們追趕的速度也就越快，哪怕只是知道一個方向，也比我們現在這樣一條路摸黑，不知道方向的瞎走要強得多。
而且Ro逼n，我們是大廠，大廠最大的優勢就在于資源和現金。
我們需要搞清楚深紅是怎么做的，我們需要同時從OpenAI和深紅挖人，然后在內部同時有兩個組，分別按照GPT和深紅的技術路線去推進。
涉及到資源調度，根據表現決定優先級。”
這對大廠來說屬于是常規操作，是赤裸裸的陽謀。
小廠出的產品，我直接照著抄，反正你反抗不了，一些核心的工程問題在短時間內我沒有辦法解決，我又不能耽誤搶占市場的時間，那我就從你那挖人。
“我知道，這肯定是辦法，但問題是太快了，深紅的進展太快了。”Ro逼n愁眉苦臉，帥氣紳士的氣質全無，“和過去我們的競爭不一樣，過去用戶的增長是線性的，擴展到一定程度之后就會變慢。
我們作為后發者，對方增速減緩，我們增速飛快，是能追上的。
但大模型的增長速度，不是對數函數不是線性函數，它甚至是指數函數。
我們就算挖人成功，挖到了核心工程師，我們最快也要半年時間才能推出深紅吧？”
王海峰內心苦笑，半年？半年那除非把林燃教授挖來，才有可能。