llama3 在 m3max 和 4090 推理速度

mac:14 寸 m3max 40 核 GPU ,64Gpc: 12700+4090+64G8b 模型,mac 大概是~50tokens/s,pc 是~100tokens/s (显存吃了 5G 多一点)70b 模型,mac 大概是 8.8tokens/s(40G 左右内存), pc 是 1.8tokens/s(显存是 23G 左右+20G 左右的内存)70b 模型,pc 速度慢大概是因为显存不够,如果换 6000 ada 的话,同等算力目测可以到 15tokens/s 。mac70b 的速度感觉跟 chatgpt4 的速度差不多,速度上相当可用了,但是准确性和记忆力跟 gpt4 还是不能比,中...

你们有没有觉得 OpenAI 网站的美术很奇怪?

ChatGPT 的还好,Dark Theme 和其它网站的 Dark Theme 差不多,黑色背景、白色字体、圆角设计 但是 OpenAI 就不一样了。记得之前有绿色和紫色相间的图案,现在在最底下还有黑白条纹。 这个是紫色背景绿色字体。 现在还好,记得早些时候挺……惊人的。 ...

持续送福利, AI 文档分析产品专业版兑换码,不绕弯、无套路,直接领!

司马阅,是一款基于自研文档智能模型(DocMind)研发的 AI 文档阅读分析产品,通过聊天互动形式,精准地从复杂文档提取并分析信息,极大节省文档阅读和检索时间及便捷获取创新灵感,高效应用于工作、学习场景,如读行业市场报告、产品手册、法律文档、论文文献、电子书等。https://smartread.cc/应用场景:1 、帮律师/商务人士分析合同的风险保护倾向。2 、帮市场/研究人员总结行业报告的发展趋势。3 、帮 HR/团队管理者判断专业简历的技能水平。4 、帮营销/产品人员提炼产品手册的关键卖点。5 、帮学生/教师群体概括研究论文的核心要点。功能特点:支持复杂图表文档分析总结,分析图表数据支...

认知讨论,有人一直在扩大自己的认知圈吗

认知讨论,有人一直在扩大自己的认知圈吗从楼主个人的角度来说,认知一直在变化。从 无神论科学论(中国就是这样教育的)到有神论(宇宙与人体的精妙与神奇)然后阅读 圣经 佛经 道德经 ,了解易经 去扩大认知圈,只是太忙,了解还特别浅。然后 学习中医,针灸,黄帝内经,去扩大认知圈然后练习 金刚功 长寿功 八段锦 易筋经 站桩来使身体达到最佳状态中间还穿插着炒币从不了解比特币到 信仰比特币,从信仰比特币到认为比特币不过是美国资本控制收割的玩具。从不相信有人可以合约赚钱,到自己合约赚很多倍还在脑海中设计一套精密的 用 人工智能训练拟合的 量化交易策略,只是太忙,还没实现完。...

一个修复 LLM 输出的破损 JSON 的库与 Cli

使用 langflow 之类的平台编排 Agent 调用 LLM 时,有时会被 ```json { 打断,或者哪个步骤输出缺括号/多逗号,在一些 JSON Array 的情形下尤为明显。避免这种非预期的情形出现 https://github.com/RealAlexandreAI/json-repair...