8月15日，IDC 發布的統計數據顯示，2024年下半年中國大模型商用落地呈現爆發式增長，日均Tokens消耗量較此前增長近10倍。2024年中國公有云大模型調用量累計達114.2萬億Tokens，且該數據不包含使用海外MaaS平臺的調用量。
隨著大模型商用進程的加速，數據中心內Token用量持續攀升激增，帶來了一系列連鎖反應。東西向流量大幅增長、通信能耗不斷加大，網絡正逐漸成為AI基礎設施的決定性瓶頸，制約著AI技術的進一步發展與應用。
在這樣的背景下，高端網絡硬件市場迎來快速發展。2024年，中國高端以太網（≥200G）端口出貨量突破600萬，IDC預測，未來其將保持45.6%的復合增長率，到2029年中國高端以太網端口出貨量將超過4300萬個。同時，中國生成式AI相關網絡硬件支出也將持續加速，從2023年的65億元增長到2028年的330億元，復合增長率達到38.5%。
據此前國家數據局數據顯示，2024年初，中國日均Token的消耗量為1千億；截至今年6月底，日均Token消耗量已經突破30萬億，1年半時間增長了300多倍。