AI 大模型训练：一场算力与带宽的纠缠。

第五章 香与真香

那么基于pcie的计算模块在ai进化的道路上就止步于此了吗？
并不是，因为有ai模型推理这个实际使用中的主要运用在给他们兜底。
推理和训练的区别在哪里？训练任务是中流水线并行中activation需要存下来给反向传播用的。因此流水线并行看似一开始节省了内存，但流水级越多要储存的activation越多，加剧了内存的不足。推理任务中的各个输入数据之间没有关系，因此正向传播每一层的中间状态（activation）不需要保存，这样流水线并行不需要存储很多中间状态。
我们在之前已经指明了，ai训练时，优化器状态和activation才是大拿，动辄吃掉你数百上千GB的内存空间。推理与训练在这两个大拿上的区别，为我们释放了TB级的内存。
让我们也来计算一下推理需要多少算力。在之前对训练计算算力消耗的估算中，我们忽略了一些其他的因素，因为在训练时他们不被使用或不产生决定性影响。但是，在推理计算中，他们就不得不被记入考虑了。
KV Cache
还记得我们之前提到的Q、K、V三个矩阵吗。对于每个输入的 prompt，在计算第一个 token 输出时，每个 token 的 attention都需要从头计算。但从第二个token开始，这个token 的attention计算需要将输入prompt的叠加上在他之前所有token的attention，即这个新token的self-attention。
此时，前面每一个 token 的 K 和 V就有用了。Q 矩阵因为不断变化，不用缓存。由于每一层的参数矩阵不变。此时，除了刚生成的那个 token 的 K 和 V 需要从头计算，输入 prompt 和在他之前所有token 的 K 和 V 其实跟上一轮一样。那么，为了节约算力，我们就可以把每一层的 K、V 矩阵缓存起来。这样在生成下一个 token 的时候就不需要重新计算来，即KV Cache。我们之前在Data parallelism中提到了选择性保存activation，目的是拿计算换内存。这里的KV Cache也一样。
那么KV Cache 需要多少存储容量？
每一层，每个 token 的 K、V 矩阵的大小即是 embedding size ，乘上 token 数量和 batch size，就是这一层 KV Cache 的存储大小。
请注意，此时batch size始终是存储量和计算量计算中的一个系数，在几乎所有的正向和反向传播阶段，都不会像Pipeline parallelism中那样对 batch size 中各个 sample 进行合并处理。
还是拿LaMA 2 70B做分析。当batch size = 4，模型输入和输出的 token 数量为4096，80 层KV Cache 需要 2 (K, V各一个) * 80 * 8192 * 4096 * 4 * 2B = 40 GB。当 batch size 更大时， KV Cache 占据的空间将超过参数本身大小（140 GB）。
那么它能省下来多少计算量？
每一层计算 K、V 矩阵的计算量是 2 (K, V) * 2 (mult, add) * embedding size * embedding size = 4 * 8192 * 8192，乘以token 数量、层数和 batch size，就是 4096 * 80 * 4 * 4 * 8192 * 8192 = 320 Tflops。每存储 1 个字节，我们节约了 16K 次计算，很划算不是吗。

事实上，KV Cache 节约的远不止算力。
K、V 矩阵计算是内存密集型过程，需要加载每一层的 K、V 参数矩阵。在不做任何缓存时，还是按照之前的token 数量，在计算最后一个 token 时，重复计算前面每个 token 的 K、V 矩阵需要读取内存 4096 * 80 * 2 * 8192 * 8192 = 40T 次，每次 2 个字节。此时，即使是快到TB/S的gpu 内容带宽，也顶不住我们这么折腾了。H100 的内存带宽为3.35 TB/s，4090 为1 TB/s，这最后一个 token 得耗掉一张卡几十秒的时间来做重复计算。此时token 的输出就会越来越慢，输出时间增长是随着输出长度的增长以平方级别增加的。面对这个一个chat系统，等待它告诉你问题答案的在做各位朋友，你还兜得住吗？
接下来我们就可以计算推理计算所需的计算量了。总的算力很好算，大概是2 * 输出 token 数量 * 参数数量 flops。具体公式推导过程可以参照Lequn Chen的论文Dissecting Batching Effects in GPT Inference。
但就像K、V 矩阵计算中展示的一样，算力并不能说明一切，GPU 内存带宽也可能成为瓶颈。毕竟14900k插上个西数蓝盘这事，想想就来气。
那么内存带宽的需求是多少呢？参数数量 * 2 bytes，就是这么简单。中间结果attention可以放在缓存里面的，塞不下那也需要占内存带宽，但这个变数太多，我们先忽略。
如果模型只服务一个 prompt，batch size = 1，context 的长度很短（假设只有 128），那么在推理计算中，每载入一个参数（2 字节），只进行 128 次乘法和加法计算。计算 flops 和访问内存 bytes 的比例仅为128。而对4090来说，330Tflops/1TB/s=330. 对H100 来说，1979 / 3.35 = 590。此时任何 GPU 在这种情况下都会变成 memory bound。GPU算的越快,这个瓶颈越厉害，时间都耗在加载内存上了。换句话来说说，如果 context 中的 token 数量小于 330 或者 590，那么内存访问就会成为瓶颈。虽然 LLaMA 2 的理论上限是 4096 个 token，但我们又不是每时每秒都要让它整理永乐大典，大多数时候输入 prompt 用不了token。
此时，我们就需要调整batch size 了。
实际运行中的大模型通常用批量处理的办法，把几乎同时到达后端服务的不同 prompt 放到一起处理。在batch 里面，不同 prompt 的处理完全独立的，不会互相干扰。除了这些 prompt 的输出是一起的，当有的 prompt 先输出完了时需要等待其他的输出结束外，这样进行batch size合并扩大的调整的确缓解了内存瓶颈的问题。
那么，如果同时并发的prompt 很多，是不是 batch size 越大越好？也不是，别忘记 KV Cache 的大小是正比于 batch size 的。batch size 大了，KV Cache 占据的 GPU 内存就很大。还是拿LLaMA-2 70B来研究，当其每个prompt 有5 GB KV Cache时，batch size 搞到 32，就需要32*5=160 GB GPU 内存，超过了模型参数大小140GB。
算力，带宽都研究完了，还剩个储存容量，我们就能开始配置机器了。
推理计算，占内存的主要是参数、KV Cache 和当前层的中间结果。对LLaMA-2 70B来说。batch size = 8 时，中间结果大小是 batch size * token length * embedding size = 8 * 4096 * 8192 * 2B = 0.5 GB。70B 模型的参数是 140 GB。
那么我们需要几张计算卡？
70B 模型的参数是 140 GB。即使是A100/H100也是单卡放不下的。上2 张H100怎么样，160 GB模型和中间结果塞进去了，但KV Cache最大也就能是20 GB。考虑到batch size=4时KV Cache是40 GB，我们需要再加一张H100。对于 4090，140 GB + 40 GB = 180 GB，每张卡 24 GB，8 张卡一个4u机组刚好可以放下。

现在我们已经组装了基本的机器，让我们来做一些更近一步的探讨。之前我们提到了KV Cache 的大小是正比于 batch size。当我们扩大batch size把多个prompt同时执行时，我们刚才组装的机器的GPU内存似乎又有点不够了。在之前有关训练的讨论中，张量并行是一种不错的多卡并行计算方法。那么推理计算用张量并行可以吗？
张量并行的最大缺点是传输数据量大，网络带宽低的设备不一定 hold 得住。但推理只需要传输正向传播的中间结果（activation），数据一下很少了很多，这给了4090等pcie设备一个可能的机会。
先考虑网络延迟。在推理中使用张量并行，大模型每一层都需要把自己负责的结果向量广播给其他所有 GPU，并接受来自所有其他 GPU 广播来的数据，大小是batch size * embedding size / num GPUs。计算 attention 的时候传输一次，计算 feed-forward network 的时候传输一次。一共是2 * 层数这么多次，每次发送是batch size * embedding size，当batch size = 1, embedding size = 8192，传输 16 KB 数据，在PCIe Gen4 上传输需要 1 us，和前面一样算上其他中转开销，我们算它30 us。2 * 层数每次时间=28030us=4.8ms
再考虑计算延迟。当batch size = 1时，GPU 内存带宽是瓶颈，单卡计算每个 token 的延迟是 2 byte * 参数量 / 卡的数量 / 内存带宽，仍然是 17.5 ms。但是这里 8 张卡并行处理，不用乘以8了。最终总的推理延迟是计算延迟 + 网络延迟 = 17.5 ms + 4.8 ms = 22.3 ms。每秒生成 45 个 token，挺不错的不是吗。
但batch size = 1，那岂不是一对一服务了，这也太奢侈了。
和我们前面的推导一样，我们增大batch size到330，把 GPU 算力和内存带宽都充分利用起来。那传输数据量是 330 * 8192 * 2 = 5.4 MB，在PCIe Gen4 上需要 0.17 ms。2层数每次时间=2800.17ms=27ms。这下网络延迟太大了，总的推理延迟=44.5ms，虽然也能接受，但每秒只能生成 22 个 token 了。
此时4090可怜的pcie4又成了瓶颈了。如果是H100，取 batch size = 590 达到算力和带宽的平衡，传输数据量是9.44 MB，对于NVlink只要0.02 ms，网络延迟一共280*0.02ms=3.2ms。此外H100更大的内存带宽也减少了计算延迟，2 * 70G / 8 / 3.35 TB/s = 5.2 ms。此时总推理延迟为5.2 ms + 3.2 ms = 8.4 ms，每秒生成 119 个 token。
需要注意的是，张量并行需要网络传输到总数据量是相同的。因此增加 GPU 的数量只能加速计算，不能加速通信。进一步推导一下，对于单个 prompt 的 token 生成速度，要追上8 卡 H100，你必须把4090的计算加速到把计算延迟压缩到8.4ms-27ms=-18.6ms，这都时间倒流了。因此，无论你有多少块4090，你都不可能在GPU算力和带宽平衡的情况下追不上 8 卡 H100。

刚刚我们讨论了张量并行，但在大模型训练中我们还有一个方法流水线并行呢，如果我们把它用在推理计算上，会产生怎么样的效果？
推理计算使用流水线并行，主要要解决串行处理带来的延迟。
首先是计算延迟。流水线的不同阶段可以塞进不同的 prompt，但同一个 prompt 的处理仍然在单个 GPU 上轮转。相比 Tensor parallelism，单个 prompt 的延迟就显著增大了。和之前一样，对于小 batch size，内存带宽是瓶颈。单卡每个 token 的延迟 = 2 byte * 参数量 / 卡的数量 / 内存带宽。以8 卡 4090 跑 LLaMA-2 70B来进行研究，就是 2 * 70G / 8 / 1 TB/s = 0.0175s。由于是8 张卡进行串行处理，每个 token 的延迟要乘以 8，共0.14s。即每秒输出 7 个 token。
对于大batch size，算力是瓶颈，单卡每个 token 的延迟 = batch size * 2 * 参数量 / 卡的数量 / 算力。和之前一样的8 卡 4090，batch size = 1024，就是1024 * 2 * 70G / 8 / 330 Tflops = 0.0543s。乘以 8，共0.43s，每秒只能输出 2 个 token。
但上述这么大的batch size，KV Cache 和正向传播的中间结果早把 GPU 内存给吃满了。我们不如计算一下平衡利用算力和带宽的batch size。
2 byte * 参数量 / 卡的数量 / 内存带宽 = batch size * 2 * 参数量 / 卡的数量 / 算力。化简后batch size = 算力 / 内存带宽。对于 4090，330 / 1 = 330；对于 H100，1979 / 3.35 = 590。对 4090 ，batch size = 330 时在理想情况下，内存带宽和算力都刚好打满，每张卡处理每个 token 的时间是 17.5 ms。
其次是网络延迟。流水线并行流水级之间传输数据量只有 batch size * embedding size。当batch size = 330，embedding size = 8192，只传输 5.28MB 数据。在 32 GB/s 的 PCIe Gen4 ×16 上，只需要 0.16 ms 。算上通信库开销和4090只能走CPU 中转带来的延迟，实际需要0.2ms左右的时间。但即使这0.2ms相比计算时17.5 ms的时间，基本可以忽略不计。
如果我们可以接受更高的网络延迟，我们甚至可以用多台主机来做流水线并行。
假设主机间为1 Gbps 的以太网络，每台主机有一张 4090。当batch size = 1，传输数据量为16 KB， 需要 0.25 ms ，再加上 0.25 ms 两端网络协议栈处理时间。每个流水级有 0.5 ms 延迟，8 张卡的网络延迟为4 ms。而此时整体计算时延是 140 ms，网络延迟不会显著影响系统的推理延迟。甚至在 batch size 很小时，流水线推理中的网络流量是突发性的，每过 18 ms的计算后只进行 0.25 ms的传输。流水线推理不会把局域网全部占满，我们甚至还能正常上网。此时因为batch size很小，我们对于每台主机的4090利用率也不会很高，正常使用电脑是不会收到影响的.
如果为了充分利用算力，把 batch size 设置得很大，例如330，传输数据量为5.28 MB ，需要41 ms，8 张卡的网络延迟为330ms，超过了计算延迟140ms，导致只有 3 token/s 的输出速度。
那么batch size为多少时，我们能在这套系统中保证一个能接受的输出速度呢?
假设输出速度不小于 5 token/s，推理延迟为200ms，减去计算延迟140ms，这时网络延迟不得超过 60 ms，每个流水级至多 7.5 ms。对于1 Gbps的以太网络能传输 960 KB 数据。这时 batch size 至多设置为 960/16=60，此时 8 张 4090 的总吞吐量是 2400 token/s。有效算力利用率不到 20%。
如果各位有兴趣的话，可以去搜索一个叫Petals 开源项目。以上多主机系统的所有计算，其实就是以Petals项目为蓝本，利用流水线并行，把 GPU 做成一个类似 BitTorrent 的分布式网络。虽然推理延迟确实很高，但它展示了用分布式计算的方法进行大模型推理计算的可行性。

看完上面的推导，相信你都得出来一个结论：对于推理，不管用流水线并行还是张量并行，batch size 不高的情况下内存带宽才是瓶颈。
如果我们在给一个足够高的batch size把算力 100% 利用起来的同时，解决网络延迟的问题 ，那么这 8 张 4090 可以达到多少吞吐量？
这也正是实际工作中大量人研究的领域：“推理优化”。例如在张量并行的通信过程中我们用double buffer 做另外一个 batch 的计算，也就是计算和通信并行，就能进一步提高吞吐量。此时通信和计算分别是 27 ms 和 17.5 ms，总的推理延迟就是27ms，因为计算在通信的同时已经被做掉了。此时我们能每 27 ms 输出一组 token，一个 batch 330 个 prompt，8 张 4090干到了每秒 330 / 0.027 = 12.2K token 的吞吐量。相当可观。
我们的机器8张4090共12800美，服务器本身20000美，网络设备7000美，算它一台40000美。按照3年使用寿命做计算，一个小时价格1.52 美，这台机器功耗大概5kw，按照谷歌大数据中心0.1 美/kwh来算，每小时 0.5 美元，加起来2 美元一小时。在这一小时内这台机器能生成 12.2K * 3600 = 43.9M tokens。参考目前数据中心的提供api key的价格$0.002 / 1K tokens。我们的机器在理想状态每小时能产生87.84美的价值，利润/成本高达440%！！！
当然以上都是在理想状态下，实际上说不可能达到这个利润比的。但这时，我想你已经明白为何我说 有ai模型推理这个实际使用的大头给pcie卡们兜底了。

最后，我们讨论一下这一章节的标题：香和真香。
华为硬件的大佬夏总曾经跟我们在交流会上分析了 H100 的成本。SXM 的成本300$，封装的 Substrate 及 CoWoS 也是$300，核心中间814mm2的4nm制程Logic Die，TSMC 在一张 12 英寸 的晶圆上可以制造60个，其中350 颗可用，Nvidia对这一板Die的拿货价是$15000，算下来一个Die也就300$。剩下的HBM，当前DRAM 市场都快噶了，HBM3都在亏本卖，$15/GB，80GB下来$1200。加起来，$2100刀一张，算上研发等其他成本。H100 的售价$30000~$40000，绝对是有 10 倍以上油水的。
咱们再分析下 4090 的成本，5nm 的 609mm2 Die，$250。GDDR6X，24 GB，$10/1 GB，$240。PCIe Gen4，$100。封装和风扇散热，$300。总成本最多$900，卖 $1600，相比H100算是良心价了。
那么问题来了，如果 4090 这么香，为啥大家还要争着买 H100？
排除4090无法做训练的工作的问题，我们这里只讨论做推理的工作。
和之前一样，如果换成用 H100 做推理。一张 H100 ，3 万美，一台 8 卡 H100服务器加上配套网络，差不多 30 万美。按照 3 年寿命，每小时 11.4 美。机器功耗10 kW 功耗，电费每小时 1 美元。一共 12.4 美元一小时。这台 8 卡 H100 机器采用传输和计算并行的double buffer张量并行。H100 的通信比较快，计算是瓶颈。每 5.2 ms 输出一组 token，一个 batch 590 个 prompt，可以达到每秒 590 / 0.0052 = 113K token 的吞吐量。理想情况下，一小时能生成 407M tokens，每1k tokens只花了0.000033美金，性价比还比4090机器高30%
为什么H100 机器价格是 4090 的 6 倍，性价比却比 4090 高30%？因为一张 H100 算力是 4090 的 6 倍，内存带宽是3.35 倍，当 batch size 够大，算力满载时，单卡的性能就是 6 倍。而且，我们一直在强调一个问题，那就是对于大模型使用目前最广泛使用的张量并行进行计算，通信网络带宽才是最有可能的瓶颈。而在这一点上H100强太多了。4090 原本可观的算力都浪费在了等数据的路上。因此，8卡H100的吞吐量几乎是 4090 的 10 倍。整机的成本6 倍于4090的H100产生了10的吞吐量，无数人说过4090香的服务商也只能含着泪边说真香，边投身抢H100的大军。

第六章 垃圾佬攒机大赛
与H100 机器的GPU成本占大头不同，8 卡的4090 机器要3 万美，但计算卡只占了1.28 万美。我们还能继续压榨价格区间的潜力吗？就像我上面讲的，如果可以忍受 5 token/s 的输出速度，我们可以用家用台式机和 4090 攒出个推理集群。按照这个思路，我们有多种方案来一场垃圾佬攒机大赛。
1.用流水线并行。
台式机 + 10 Gbps 网卡，，8台机器通信 40 ms，计算 140 ms，就可以达到 5 token/s 的单 prompt 输出速度，同时又能充分利用 4090 的算力。10 Gbps 的Intel X710 网卡只要 150 美，8口交换机750 美，一台家用机整机 700 美，加上卡，加上4090卡。我们2w美搞定了4 万美金的设备干的活。
2.用张量并行。
台式机 + 200 Gbps ConnectX-6 网卡，上 RoCE，单次数据传输时间压在0.22 ms， 160 次35 ms。加上计算 17.5 ms，总推理延迟 52.5 ms，19 token/s 的输出速度。网卡 1000 美，200Gbps 8口交换机4000 美金，一台家用机整机 700 美，加上4090卡。我们3w美搞定了4 万美金的设备干的活。
3．主机内用张量并行，主机间用流水线并行。
4 卡 PCIe Gen4 服务器主板只要 1000 美。两台主机用25 Gbps 网卡直连。主机内张量并行的延迟是 27 ms，主机间流水线并行延迟是8 ms*2=16ms ，加上两次流水线计算各 17.5 ms，推理延迟共计78 ms，输出速度为13 token/s。网卡 300 美 * 2，服务器 3000 美 * 2，加上4090卡。这次只要 1.95 万美金就搞定了原本需要 4 万美金的设备干的活。

2 万美金设备按照 3 年寿命每小时 0.76 美元。每小时的电费是0.5 美元。 1.26 美元一小时的机器当跑满44M tokens 的吞吐量时，每1k tokens只花了0.000028美金，我们超过8 卡 H100了。

华为鲲鹏架构的研发工程师李工曾经开玩笑的提出让我们搞一个推理性价比挑战赛，目的就是在延迟合理的前提下，用最便宜的设备搞出最强的推理吞吐量。而且我们之前的所有计算都是在假设使用 不做量化压缩的LLaMA-2 70B 模型的前提下。如果我们提前做了量化压缩，那性能就更高，在统一内存足够大的MacBook Pro上都能跑大模型推理。

最终篇：真正的“互联星空”
NVIDIA Geforce driver 的 License 里允许拿4090 这样的游戏卡来做区块链计算。华为的李工、夏工和谭工曾经在交流会上和我们讨论过一个大胆的想法：让未来的区块链不再用挖矿来做 proof of work，而是用大模型推理来做 proof of work。每个人买几块显卡，接到矿池上。自己平时用，闲时贡献算力，矿池就是个卖大模型推理服务的公司，它提供前所未有的低价 API。甚至需要大模型推理服务的人可以在区块链里做P2P ，谁要用大模型就在平时付点 gas。当然，目前的挖矿 proof of work 都是计算复杂，验证简单的。如果真这样用大模型推理做 proof of work，得防止用户随意编造结果。当然，BitTorrent这些去中心化网络已经给了我们解决的可能方法，即采用信用机制，新人做验证别人计算结果的工作以累计信用，老人每次算错了给予严厉惩罚。这种玩法可能实现的另一个支持是现在家庭局域网络的速度越来越快。前面的案例中，我们用 1 Gbps 的网络就足以把多台主机上的 GPU 组成流水线并行，那么在未来的家庭高速网络中，流水线并行甚至张量并行都有可能。
现在，到处都在推广ai大模型，但限制大模型平民化的最大障碍就是成本，这个成本最大来源其实是计算卡和游戏卡价格的剪刀差。如果能把这个价格壁垒打下来，那大规模量产的芯片价格就像沙子一样便宜。
那到时候，能限制大模型推理算力的是什么呢？其实是能源了，就像区块链挖矿和通用 CPU 的云计算一样，都在找最便宜的电力供应和集群降温方法。以一个长远的视角去看，能源和材料才是制约大模型发展的关键。而像李工他们想象的超大规模分布网络集群的方法，正是把原本集中消耗的能源摊平的可能途径。让我们期待这真正的“互联星空”的到来，让廉价的大模型推广到每一个人的生活中。

感谢对ai和大模型感兴趣的朋友们的关注，就像我之前就说说过的，我一直对ai大模型的平民化推广持一个乐观的态度，不仅是因为大模型入门并没有我们想象的那么困难，更多的是我们有那么多方法，利用手边的设备攒出来一个”大模型集群“。希望这篇小小的文章能帮助了解到ai大模型中一些有趣的特点，也希望真正的“互联星空”能早点到来。

此外，我在此对华为计算架构研究中心的李工，夏总，谭老师和江老师，以及香港科技大学的陈教授表示感谢。听取和参与他们在几次交流会上的讨论是这篇文章完成的基础。

conan1412mi 你的思考非常正确，生物学中存在一个研究方向，叫做生物伦理学。随着AI技术的发展从科幻走入现实，我们其实有必要考虑一个新的学科的内容：AI伦理学。
其实AI伦理学的起源非常早，早在1979年，作为指导实验研究和算法开发中伦理道德问题的方法的《THE BELMONT REPORT》就已经被发表。该报告提出了三个基本原则，至今仍然是AI研究中实验和算法设计的伦理基础：

尊重个人：这个原则承认个人的自主权，希望研究人员能够保护自主权减弱（可能由于疾病、智力障碍、年龄限制等原因所导致）的个人。 这个原则主要涉及"同意"这个概念。 个人应当清楚他们参与的任何实验的潜在风险和收益，并且能够在实验之前和实验期间的任何时候选择参与或退出。
仁慈：这个原则借鉴了医疗伦理，即医生宣誓"不造成伤害"。 这种思想可以很容易地应用于人工智能，以防止算法放大种族、性别、政治倾向等方面的偏见，尽管是出于善意以及改进特定系统之目的。
公正：这个原则旨在处理像公平和平等这样的问题。 谁可以从实验和机器学习中获益？ 《贝尔蒙报告》提供了以下五种分担负担和收益的方法：
平均分担
个人需要
个人努力
社会贡献
功劳

目前对AI的研究中，我们研究人员其实一直在讨论以下数个问题：
1.技术奇点
这也称为超级智能，Nick Bostrum 将其定义为"在几乎所有领域（包括科学创造力、一般智慧和社交技能）都远超最优秀人类大脑的任何智力。
目前在研究中，我们其实并不急于实现强 AI 和超级智能，但这个想法会引发一些有趣的问题。 例如：全自动驾驶汽车发生事故谁来承担赔偿责任？ 是汽车，汽车生产商，乘坐者，还是运行它上路的市政部门？我们是应该继续开发全自动驾驶汽车，还是只将这项技术集成限于可帮助驾驶员安全驾驶的半自动驾驶汽车？ 就像你所担忧的“通用型”人工智能，它是否应该出现，是行业“陪审团”现在还悬而未决的思考。
2.AI 对工作的影响
这是公众对人工智能的集中担忧，但这种担忧可能会发生转变。 在实际应用的过程中，我们看到了其他市场展现的对于技术变化的适应能力。 例如，在汽车行业，技术的改变让重心转向电动汽车的生产，工人在接触新知识后革新了工作内容。 能源行业，能量的来源正在从燃油经济转向电力，随机带来了清洁行业的工作岗位。 用相似的方式看待人工智能，AI 也会导致工作需求转移到其他领域。 数据每天都在增长和变化，需要有人来帮助管理这些系统。 此外，仍需要有人来解决行业内最有可能受就业需求变化影响的复杂问题。 人工智能的重要方面及其对就业市场的影响，将会帮助人们转而投身于市场所需要的新领域。我的博士母校ETH Zurich的校训是非常简单的两个词“Welcome tomorrow”但我更愿意将其翻译为“明学而思辨“，面对新事物的到来，如何让其能为自己，为全人类带来新的价值，是我们的义务与权利。某种意义上来说，这其实也是我们这些先行者能为各位后来者留下的最有价值的遗产。

PS：其实我们换个比较邪恶的思路来思考。资本长期稳定产生利益的方法是剥夺剩余价值，但是对于使用ai来进行生产的行为来说，对ai进行剥夺它的剩余价值的操作不是那么容易。事实上除了利用技术壁垒造成垄断并使用航母守住这只下金蛋的”母鸡“（你们知道我说的谁）这种与正常市场调节背离的方法外（这种方法剥夺的剩余价值就是ai的技术先进性），目前其他方法貌似都不是那么好用。而当年无法守住这只下金蛋的母鸡时（技术壁垒），ai生产带来的低成本特性将导致在市场的相互倾榨中ai产品的利润被更快速压缩，而失去了“人的创造”这一附加的自动产品的价值将会无限接近其生产的物料成本，导致利润比有人的时候更低（有人你好歹还能压缩人的工资从员工身上榨出利润，而ai耗的电已经给你算物料成本里了）。因此，相比于即要守住这只鸡，又要担心鸡暴毙后自己怎么兜住后果。大多数企业很有可能还是比较习惯直接剥夺我们这些”两脚兽“的价值。所以，相比于能完全替代人的超级智能，更多的企业会更倾向于去一些用于提高压榨人类能力速度的“半自动”产品。玩赛博朋卡2077时，ai大爆发后所有ai都被封锁在了黑墙对面。而逼迫Lucy等人尝试黑墙中偷取ai的企业，目的也不过是用这些来产生一个新产品或替代生产中的一个环节，而不是完全替代公司的全部员工。而那些尝试用ai去全面生产的公司，其最终并没有超越不这样做的night city的两大高山。这使我我思考过在这一个逐利的世界，为何企业不用ai去替代人类去除人工成本来获取更高的利润，用了ai去替代人类却并没有称霸世界。巴特莫斯这样的天才黑客的对旧网的破坏造成的ai爆发也许点燃了导火索，但是谁埋下了炸药呢。再想一想，很可能埋下炸药的正是这些企业本身，因为相比于费力的隐藏，控制一个超级ai去收割人类，不饶弯子直接压制身为员工的人类更直接也更高效。虽然这个结果挺悲哀，但不得不说，它说明了未来人类还是无可替代😂。
3.隐私
在 2016 年，为了让人们能够更有效地控制自己的数据，欧盟出台了《通用数据保护条例》(GDPR) 法案。 在美国加州则制定了《加州消费者隐私法案》(CCPA) ，要求企业向消费者通报数据收集情况。 企业和研究者被迫重新思考作为ai发展基石的大数据应该如何被运用。
4.偏见和歧视
如果一些不正确的数据混在在ai的训练数据中，那么我们如何防止训练出的ai存在偏见和岐视？这个问题其实是现在ai训练的一个挺尖锐的问题。就像我之前说的大模型的大数据量需要大的训练样本。而巨大的训练样本使其被污染的可能性成倍上升。Amazon曾在自己的HR系统中使用了一套模型来进行求职者的职业经历分析，但该系统却自己对某些职位的求职者形成了偏见，最终导致Amazon不得不放弃该项目。

2008年，18岁的我作为访学学生，自费拿着老师的介绍信到了IBM的Watson实验室参观了他们的研究项目“通用的人脸识别和分析”系统的早期研究，当时的研究人员很激进的用这套系统把志愿者们369等。但在这几年，这一IBM 一度最赚钱的产品已经以“侵犯基本人权和自由”的理由被IBM抛弃了，无论最终起作用的是什么原因。至少证明在这个时代，想你一样思考技术如何对人类更好的人的呐喊终于有点作用了。
5.问责机制
很遗憾，目前还没有重大立法来规范 AI 实践，因此也没有真正的执法机制来确保AI的运用践行符合道德规范。 目前让企业思考我们以上讨论的问题的动力只是不符合道德规范的 AI 系统被曝光后会对利润造成负面影响。像《THE BELMONT REPORT》的出现最多只是指导，目前AI开发分散的责任以及对潜在后果的短视，并不利于防止我们上述可能的ai危害。

2018年，我曾作为第三方的代表的随行人员，参加了UNESCO在Maroc Marrakech举行的一次辩论，主题是“人工智能与非洲”，围绕着AI伦理进行。2019年，在UNESCO巴黎总部举行的第二次国际会议我没有那个资格前往，在那场会议人工智能发展的主要伦理原则以《THE BELMONT REPORT》为基础创立了，也就是我在一开始展示的内容。

此外，随着发展，业界还对于添加以下原则达成了共识：
1.治理：利用现有的组织架构，帮助管理符合道德规范的 AI。 如果企业要收集数据，它很可能已经建立了治理体系，以促进数据标准化和质量保证。 内部监管和法律团队可能已经与治理团队合作，确保遵守政府实体提出的要求，因此扩大该团队的工作范围以涵盖符合道德规范的 AI，是其当前优先任务的自然延伸。 该团队还可以管理组织对于 AI 伦理的认识，激励利益相关方按照企业价值观和道德标准行事。
可解释性：机器学习模型（尤其是深度学习模型）通常被称为"黑盒模型"，因为我们往往并不清楚模型如何做出特定决策。 可解释性旨在通过生成"用于表达机器基本原理的人类可理解的解释"，消除模型组装和模型输出的不确定性。 这种透明度对于建立对 AI 系统的信任非常重要，确保人们理解模型到达特定决策点的原因。 如果我们能更好地理解个中原因，就能更有效地规避 AI 风险，例如偏见和歧视。

就像我之前所说的，随着AI技术的发展从科幻走入现实，AI伦理学的建立其实很有必要。目前，对于ai发展的带来的诸多问题，我们的"陪审团"仍未有定论，但随着开创性的 AI 技术的发展，必定会有更多想你一样的人，思考并开始对它们的道德争论。

最后，对于你对“通用型”ai的担忧，我想你可以放宽心一些，因为我们实际上离真正的技术奇点还很远。现在的ai，其实能做到，还是只是人类能做的事情，只是更快。人类创造“真正新事物”的能力还远未被超越。而像gpt这样的大模型，只是会能做的事情更多罢了。就像我说的，目前的大模型训练还只是一场数据“压缩”，而被压缩的样本，就是人类会的事情本身。举个简单的例子，我们曾经拿着世界编程大赛的题目去考察gpt4.0。当题目是2021年5月前时，gpt的回答准确而迅速，但当题目是2022年的新题库时，gpt4.0在10道题里错了8道。真正能替代人类的超级智能，需要会自己想到方法，做道人类做不到的事情。这一天，还不够近。

Reference：
THE BELMONT REPORT, https://www.hhs.gov/ohrp/sites/default/files/the-belmont-report-508c_FINAL.pdf
The Ethics of AI Ethics, https://arxiv.org/ftp/arxiv/papers/1903/1903.03425.pdf
The Legal and Ethical Implications of Using AI in Hiring, https://hbr.org/2019/04/the-legal-and-ethical-implications-of-using-ai-in-hiring
What Does Explainable AI Really Mean? A New Conceptualization of Perspectives, https://arxiv.org/pdf/1710.00794.pdf

非常感谢你可以在回复中提出自己的疑问与表达自己的想法，这也正是我写这篇文章初衷，鼓励有兴趣的人参与到对着一历史阶段的讨论。无论我们的想法是什么，我们留下言语都是历史对于这一时代的思考与遗产。

Asuka002 是的，先不说目前在各个大模型saas服务商那里，为了进行ai迭代开发的训练，大部分数据中心提供的ai推理服务中使用的模型可能都不是全参数模型（LLama 2 就有¼参数，半参数，全参数可以选，gpt也一样），导致各大平台的ai经常周期性的变成傻子。即使是全参数模型，目前仍然没有实现和人类“同等学力”，更别说实现超级智能。
目前的大模型按照pain哥的说法，还是是通过更先进的“压缩算法”压缩了更多的原始知识。按照我的理解（不一定准确啊，没和其他人考证）。虽然根据原理，transform大模型是通过模仿神经元的数据传递方法来进行知识学习。但与transform大模型在训练完后每个神经元的基本保持不变不同，人类的神经元的是可以通过“自编程”进行参数的自我调整的，这给了人类通过“变异”进行自我突破的可能性。在ai模型上实现对参数的自我调整目前好像只能嵌套另一个模型去做。
LP曾经还给我讲过另一种现有的激进的想法。选取知识容量足够的大模型，通过冻结基本的输入输出部分，让神经网络中间的一些部分随机产生一些变化甚至故意产生一些错误来跳出原有的运行方法。由于神经网络模型的“网络”特性，少部分神经元失效不会导致系统全面崩溃，而是输出其他和原本不一样的内容。此时再通过自监督训练的方法来寻找变异点来促使新网络的产生。pain他认为这的确是一种可能的获取“技术奇点的方法”，前提是首先需要容纳了足够知识的大模型使得大模型具有同等人类的能力，再进行“强迫性”进化这样它才有可能跳出人类的能力范围（当然，也可能变成傻子😂）。
我觉得这个方法应该来自于对一种生物进化理论的参考，即生物的进化是因为在躲避天敌的过程中由于生物体的某些“错误”和“变异”获得了优势从而生存下来，而其他未获得改变的“前同类”则会被斩尽杀绝。这种方法与目前的方法不同，如果说目前的方法是让ai学习已有内容，这种方法就是让ai跳出已有内容去找到新的内容。但就像pain说的，目前我们只是在做第一阶段的内容，让大模型具有同等人类的能力，甚至距离第一阶段达成还有一定距离。那么，想要达到“技术奇点”还太远了。

Asuka002 嗯，遗传算法是通过将总体中的参数划分为不同参数区间，将总体解构成的群体。通过选择参数区间进行测试后找到该阶段的较为优质的区间。将它们用作父级，再次将参数划分为更细的参数区间，并进行下一轮。经过一代又一代后，该群体“演化”为最优解。
我们可以把这个过程看作是一个群岛，其中有分为不同组的很多个岛屿，同组的岛屿海拔高度类似，但每个岛屿的高度又有些许不同。此时我们让海平面上涨，就会淹没一些岛屿，直至到留下比较高的那几组岛屿。我将这几组岛屿中的个体再分为更小的组，继续上涨海平面，淹没他们，留下比较高的岛屿组。重复这个步骤，我们最后就会发现最高的岛屿。在再次分为更小的组的时候，我们还可以进行二次杂交。将之前分好的组进行部分打乱重新随机分配，这样可以避免将一些组总体质量不高到但个别质量极高的数据在前面给过滤掉。
就像JZ说的，这个方法的确是一种用来探究“变异”ai的可能途径。我们将已经完成训练的大数据模型进行小规模参数变异，然后使用GA进行变异监督与进化，最终获得高质量的的“变异“大模型ai来突破人类既有知识框架。

conan1412mi 是的，我基本认同你说的全部情况，事实上，有一些情况其实比你想的更糟糕。

1。在消费问题上，维持市场需要市场发生资金流动(Eichengreen, 2004)，因此所有的资本都在想尽一切办法促进资金流动(Griffith-Jones, Montes and Nasution, 2001)。使用ai来预测行为促进消费和预测市场已经不是什么秘密，ai和大数据等第四代技术革命的成果其实是目前消费主义的最大推手之一(Hermann, 2023)。

2。隐私问题。这个问题其实非常有深度，非常值得我们来思考。
你所描绘的内容，其学名是“社会行为分析”，它存在的时间远远早于ai学科出现(Guerin, 1994)。从第一个“社会”形成时，该行为就已经诞生，且被无数人利用来达到自己需要的目的。事实上，我们如今的社会学，人类学，经济学，心理学等学科与相关的活动，都建立在“社会行为分析”的基础上，且目前的传统工具效率并不不低于大模型ai(Benjamin, 1974)。甚至人类在进行“社会行为分析”的过程中所使用的手段对隐私的侵犯，远超使用ai分析抹除了身份标识的数据。某种意义上来说，现代社会建立在这件事物上(Leary and Hoyle, 2009)。
判断这是否是一种隐私侵犯，以及思考如何对这种行为进行静止和处罚很困难，也很值得研究。主要因为这是人类的基本社会行为。只要人类有思维，绝大多数人类就会开始思考同类的行为并下意识进行利己行为(Guerin, 1994)，无论是使用已有工具还是ai（已有的计算机程序的效率不逊于ai）。这导致该行为侵犯隐私的原因是人类本能，进而很难处罚(Prooijen, 2017)。我们也很难建立一种量表或公式来判断利己行为是否正当，因为任何正对数量的分类系统除非无限细分，否则都有钻空子的可能(Bentham, 1871)。例如个人行为合法，团体行为非法，或高于一定收入的利己行为非法。这些可通过建立个人独立部门，以及将收入拆分等方法来规避（具体参考正对走s和贩d的法律目前面对的问题）。针对社会行为分析这样的人类本能行为采用这样的方法只会产生更加严重的问题和无穷无尽的法律补丁。恕我愚笨，目前我没有完成一套有进行可行性研究价值的方案对“社会行为分析”实现管理。

3。监管。请参考随附单参考文献(Hasija and Esper, 2022)(Ismatullaev and Kim, 2024)(Park and Jones-Jang, 2023)(Choung, David and Ross, 2023)(Kelly, Kaye and Oviedo-Trespalacios, 2023)(Kim, Giroux and Lee, 2021)。从中你可以发现，与其说是大众无法意识到其危险性，到不如说目前大众的意识是在两极分化之间左右横跳，比例基本是50:50，包括各国政府。为什么，因为ai的黑箱特性。
就像你说的，在不清楚ai能做什么，怎么做，有什么影响的前提下，民众是出于信息劣势的，自然只能接受有心之人的引导，难以作出合理分析。因此，人工智能发展的主要伦理原则中新增加了有关“可解释性”的问题，目的是尽量满足ai开发者，媒体和公众之间的信息平衡。我很认同你的一个观点，问题出在信息传递上。我们迫切的需要人人可接触，被大众人人监管，公平并且可信赖的信息传递方法。在这一点上，分布式网络和ipfs虽然不是最优解，但是是可以去参考的可能方法(Benet, 2014)(Steichen et al., 2018)(Ali, Dolui and Antonelli, 2017)(Chen et al., 2017)。

4.对于数据污染。非常感谢你的举例。在影视作品中出于效果的实现，作者放大了数据污染会导致的问题，但这的确展示了数据污染的可能危害。在目前的ai开发中，非正常数据对于模型的整体影响更小也更容易被控制。你可以类比香农极限来进行理解，即数据中的“noise”在超过该数据的某个极限前，该数据依然是可以信赖并有效的(Wu et al., 2023)。正如亚马逊的案例，最终的ai模型整体上依然正常，不会出现影视作品中的情况，而是会在一些特定的问题上出现偏差。

5.自然资源。恭喜你，你已经意识到了可能的问题。在试图获得提升效率的模型的过程中，资源争夺战已经产生了(Bültemann et al., 2023)(Desislavov, Martínez-Plumed and Hernández-Orallo, 2023)。Google目前已面对数据中心所在的佛罗里达州的质询，需要其解释对当地水资源和能源的消耗并提供解决方案。这正迫使Google思考对其旗下的多个数据中心进行搬迁。

6。社会资源。是的，ai发展带给人类的冲击，这注定无法避免(Nguyen and Vo, 2022)。而这种情况已经不是第一次发生了。回顾历史，无论哪一次技术革命，都注定会颠覆原有的社会形态(Campa, 2017)。现在我们面对的ai和IoT带来的第四次技术革命，也无法避免(Peters and Jandrić, 2019)。在社会层面面对每一次工业革命后新的社会环境，人类需要尽快思考在新环境下的生存方法，通过自我学习找到在新环境下的生存方法(Kumar, 1984)。让人不太能接受的是，人类社会的“自然选择”往往更加残酷。对于无法在新环境中找到出路生存下来的人，这很有可能就是他们的终点。除了寄希望于生产里增加后带来的社会道德与福利水平增加，这些人很有可能在各种意义上被淘汰(Campa, 2017)。这很残酷，让人不忍直视，但这也是社会运行的必然结果。即使ai不出现，其他的事情也会接替ai的位置继续发生。生物的生长规律告诉我们生物个数生长到极限后就会因为各种问题而发生回落(Lotka, 1998)。我们能做的，大多数情况下只能是“Welcome tomorrow”。面对新事物，新环境的到来，了解他，思考它，适应它，并在自己的能力范围内推动它。尽管不甘心，但对于你我这样的普通公民来说，这可能是最好的结果了。

但我仍然对ai推广保有信心，并不是因为它能实现什么，而是因为它的威力有可能被所有人使用。

就像我在我文章最后一段说的，我们是有可能将ai分布化，让它变得人人使用，人人监督，人人管理(Wu, Terry and Cai, 2022)。我们是有可能把这颗核武器的按钮，交到每个人手里。此时，这颗武器的威力将被消减。而被摊平到每一人手上的ai网络，存在的监管、隐私等问题也将更有可能获得优质的解答(Ge, Yang and Han, 2017)。分布式ai网络消耗的自然资源，也从集中消耗变成了从全世界根据不同地区的情况进行合理消耗(Lin et al., 1995)。但在这种情况下，和你想的一样，AI对社会资源分配的冲击很有可能仍然存在。这是技术革命，是社会发展的结果之一。是残酷的，强硬的，也是理性的。人类存在的意义很难被剥夺，其会作为社会的基本基本构成单元之一永久维持其运作。但在每次浪潮中，无法适应新环境的人，是会被淘汰的。我所抱有信心的，是ai最终很有可能不会变成一超多强手里的武器，为一些人对其他人的压榨提供便利。而是变成人人平等，可用的工具。当有人试图将其武器化时，其余人手中有权利，也有能力和他对抗，对他予以否决。

非常感谢你的回复。我的回复中可能存在一些较为直接，理性和冷酷的表达，对此我表示道歉。但是我想既然我们是在试图以一个较为学术的态度讨论这件事情，我最好还是不要和之前一样保持一个科普和稀泥的态度。因此我选择了以一种更加直接的方法展示目前与你的思考相关的学术研究。

此外，我还需要道歉的地方是，本人并不主攻“ai伦理学”方向，因此很多回复可能存在缪误，可能导致对你的误导。这点需要你自己思考和甄别，对于和我意见不一的内容，请大胆坚持你的想法并想办法去寻找资料支持和论证它。请继续深入思考你的想法，为你的思考和结论尽量添加一些support和survey，并将其整理成研究记录。我将非常乐意以我个人的名义将你的研究成果推荐到我所认识的大学和研究机构的相关研究人员，从而帮助你获得更加优质和合格的帮助。

参考文献：
Ali, M.S., Dolui, K. and Antonelli, F. (2017) ‘IoT data privacy via blockchains and IPFS’, in Proceedings of the Seventh International Conference on the Internet of Things. New York, NY, USA: Association for Computing Machinery (IoT ’17), pp. 1–7. Available at: https://doi.org/10.1145/3131542.3131563.
Benet, J. (2014) ‘IPFS - Content Addressed, Versioned, P2P File System’. arXiv. Available at: https://doi.org/10.48550/arXiv.1407.3561.
Benjamin, L.S. (1974) ‘Structural analysis of social behavior’, Psychological Review, 81(5), pp. 392–425. Available at: https://doi.org/10.1037/h0037024.
Bentham, J. (1871) Theory of Legislation. Trübner.
Bültemann, M. et al. (2023) ‘Energy Consumption of AI in Education: A Case Study’, in. 21. Fachtagung Bildungstechnologien (DELFI), Gesellschaft für Informatik e.V., pp. 219–224. Available at: https://dl.gi.de/handle/20.500.12116/42195 (Accessed: 3 March 2024).
Campa, R. (2017) ‘Technological unemployment : a brief history of an idea’, ISA eSymposium for Sociology, 7(1). Available at: https://ruj.uj.edu.pl/xmlui/handle/item/46288 (Accessed: 3 March 2024).
Chen, Y. et al. (2017) ‘An improved P2P file system scheme based on IPFS and Blockchain’, in 2017 IEEE International Conference on Big Data (Big Data). 2017 IEEE International Conference on Big Data (Big Data), pp. 2652–2657. Available at: https://doi.org/10.1109/BigData.2017.8258226.
Choung, H., David, P. and Ross, A. (2023) ‘Trust in AI and Its Role in the Acceptance of AI Technologies’, International Journal of Human–Computer Interaction, 39(9), pp. 1727–1739. Available at: https://doi.org/10.1080/10447318.2022.2050543.
Desislavov, R., Martínez-Plumed, F. and Hernández-Orallo, J. (2023) ‘Compute and Energy Consumption Trends in Deep Learning Inference’, Sustainable Computing: Informatics and Systems, 38, p. 100857. Available at: https://doi.org/10.1016/j.suscom.2023.100857.
Eichengreen, B.J. (2004) Capital Flows and Crises. MIT Press.
Ge, X., Yang, F. and Han, Q.-L. (2017) ‘Distributed networked control systems: A brief overview’, Information Sciences, C(380), pp. 117–131. Available at: https://doi.org/10.1016/j.ins.2015.07.047.
Griffith-Jones, S., Montes, M.F. and Nasution, A. (2001) Short-Term Capital Flows and Economic Crises. OUP Oxford.
Guerin, B. (1994) Analyzing Social Behavior: Behavior Analysis and the Social Sciences. Context Press.
Hasija, A. and Esper, T.L. (2022) ‘In artificial intelligence (AI) we trust: A qualitative investigation of AI technology acceptance’, Journal of Business Logistics, 43(3), pp. 388–412. Available at: https://doi.org/10.1111/jbl.12301.
Hermann, E. (2023) ‘Artificial intelligence in marketing: friend or foe of sustainable consumption?’, AI & SOCIETY, 38(5), pp. 1975–1976. Available at: https://doi.org/10.1007/s00146-021-01227-8.
Ismatullaev, U.V.U. and Kim, S.-H. (2024) ‘Review of the Factors Affecting Acceptance of AI-Infused Systems’, Human Factors, 66(1), pp. 126–144. Available at: https://doi.org/10.1177/00187208211064707.
Kelly, S., Kaye, S.-A. and Oviedo-Trespalacios, O. (2023) ‘What factors contribute to the acceptance of artificial intelligence? A systematic review’, Telematics and Informatics, 77, p. Article number: 101925. Available at: https://eprints.qut.edu.au/236955/ (Accessed: 3 March 2024).
Kim, J., Giroux, M. and Lee, J.C. (2021) ‘When do you trust AI? The effect of number presentation detail on consumer trust and acceptance of AI recommendations’, Psychology & Marketing, 38(7), pp. 1140–1155. Available at: https://doi.org/10.1002/mar.21498.
Kumar, K. (1984) ‘Unemployment as a Problem in the Development of Industrial Societies: The English Experience’, The Sociological Review, 32(2), pp. 185–233. Available at: https://doi.org/10.1111/j.1467-954X.1984.tb00812.x.
Leary, M.R. and Hoyle, R.H. (2009) Handbook of Individual Differences in Social Behavior. Guilford Press.
Lin, M. et al. (1995) ‘Distributed network computing over local ATM networks’, IEEE Journal on Selected Areas in Communications, 13(4), pp. 733–748. Available at: https://doi.org/10.1109/49.382163.
Lotka, A.J. (1998) Analytical Theory of Biological Populations. Springer Science & Business Media.
Merhav, N. (2010) ‘Physics of the Shannon Limits’, IEEE Transactions on Information Theory, 56(9), pp. 4274–4285. Available at: https://doi.org/10.1109/TIT.2010.2053867.
Nguyen, Q.P. and Vo, D.H. (2022) ‘Artificial intelligence and unemployment:An international evidence’, Structural Change and Economic Dynamics, 63©, pp. 40–55. Available at: https://doi.org/10.1016/j.strueco.2022.09.003.
Park, Y.J. and Jones-Jang, S.M. (2023) ‘Surveillance, security, and AI as technological acceptance’, AI & SOCIETY, 38(6), pp. 2667–2678. Available at: https://doi.org/10.1007/s00146-021-01331-9.
Peters, M.A. and Jandrić, P. (2019) ‘Education and Technological Unemployment in the Fourth Industrial Revolution’, in G. Redding, A. Drew, and S. Crump (eds) The Oxford Handbook of Higher Education Systems and University Management. Oxford University Press, p. 0. Available at: https://doi.org/10.1093/oxfordhb/9780198822905.013.27.
Prooijen, J.-W. van (2017) The Moral Punishment Instinct. Oxford University Press.
Steichen, M. et al. (2018) ‘Blockchain-Based, Decentralized Access Control for IPFS’, in 2018 IEEE International Conference on Internet of Things (iThings) and IEEE Green Computing and Communications (GreenCom) and IEEE Cyber, Physical and Social Computing (CPSCom) and IEEE Smart Data (SmartData). 2018 IEEE International Conference on Internet of Things (iThings) and IEEE Green Computing and Communications (GreenCom) and IEEE Cyber, Physical and Social Computing (CPSCom) and IEEE Smart Data (SmartData), pp. 1499–1506. Available at: https://doi.org/10.1109/Cybermatics_2018.2018.00253.
Wu, T., Terry, M. and Cai, C.J. (2022) ‘AI Chains: Transparent and Controllable Human-AI Interaction by Chaining Large Language Model Prompts’, in Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems. New York, NY, USA: Association for Computing Machinery (CHI ’22), pp. 1–22. Available at: https://doi.org/10.1145/3491102.3517582.