JVM 源码分析之一个 Java 进程究竟能创建多少线程
sinye56 2025-01-03 18:45 5 浏览 0 评论
概述
虽然这篇文章的标题打着JVM源码分析的旗号,不过本文不仅仅从 JVM 源码角度来分析,更多的来自于 Linux Kernel 的源码分析,今天要说的是 JVM 里比较常见的一个问题。
这个问题可能有几种表述
- 一个Java进程到底能创建多少线程?
- 到底有哪些因素决定了能创建多少线程?
- java.lang.OutOfMemoryError: unable to create new native thread的异常究竟是怎么回事
不过我这里先声明下可能不能完全百分百将各种因素都理出来,因为毕竟我不是做 Linux Kernel 开发的,还有不少细节没有注意到的,我将我能分析到的因素和大家分享一下,如果大家在平时工作中还碰到别的因素,欢迎在文章下面留言,让更多人参与进来讨论
从 JVM 说起
线程大家都熟悉,new Thread().start()即会创建一个线程,这里我首先指出一点new Thread()其实并不会创建一个真正的线程,只有在调用了 start 方法之后才会创建一个线程,这个大家分析下 Java 代码就知道了,Thread 的构造函数是纯 Java 代码,start 方法会调到一个 native 方法 start0 里,而 start0 其实就是JVM_StartThread这个方法。
从上面代码里首先要大家关注下最后的那个 if 判断 if (native_thread->osthread() == NULL),如果 osthread 为空,那将会抛出大家比较熟悉的 unable to create new native thread OOM 异常,因此 osthread 为空非常关键,后面会看到什么情况下osthread会为空。
另外大家应该注意到了native_thread = new JavaThread(&thread_entry, sz),在这里才会真正创建一个线程。
上面代码里的os::create_thread(this, thr_type, stack_sz)会通过pthread_create来创建线程,而 Linux 下对应的实现如下:
如果在 new OSThread 的过程中就失败了,那显然 osthread 为 NULL,那再回到上面第一段代码,此时会抛出java.lang.OutOfMemoryError: unable to create new native thread的异常,而什么情况下new OSThread会失败,比如说内存不够了,而这里的内存其实是 C Heap,而非 Java Heap,由此可见从 JVM 的角度来说,影响线程创建的因素包括了 Xmx,MaxPermSize,MaxDirectMemorySize,ReservedCodeCacheSize 等,因为这些参数会影响剩余的内存
另外注意到如果pthread_create执行失败,那通过thread->set_osthread(NULL)会设置空值,这个时候 osthread 也为 NULL,因此也会抛出上面的 OOM 异常,导致创建线程失败,因此接下来要分析下 pthread_create 失败的因素。
glibc 中的 pthread_create
stack_size
pthread_create 的实现在 glibc 里,
上面我主要想说的一段代码是int err = ALLOCATE_STACK (iattr, &pd),顾名思义就是分配线程栈,简单来说就是根据 iattr 里指定的 stackSize,通过 mmap 分配一块内存出来给线程作为栈使。
那我们来说说 stackSize,这个大家应该都明白,线程要执行,要有一些栈空间,试想一下,如果分配栈的时候内存不够了,是不是创建肯定失败?而 stackSize 在 JVM 下是可以通过 -Xss 指定的,当然如果没有指定也有默认的值,下面是 JDK6 之后(含)默认值的情况。
Linux Kernel 里的 clone
如果栈分配成功,那接下来就要创建线程了,大概逻辑如下
而create_thread其实是调用的系统调用clone
系统调用这块就切入到了 Linux Kernel 里
clone 系统调用最终会调用do_fork方法,接下来通过剖解这个方法来分析 Kernel 里还存在哪些因素。
max_user_processes
先看这么一段,这里其实就是判断用户的进程数有多少,大家知道在linux下,进程和线程其数据结构都是一样的,因此这里说的进程数可以理解为轻量级线程数,而这个最大值是可以通过ulimit -u可以查到的,所以如果当前用户起的线程数超过了这个限制,那肯定是不会创建线程成功的,可以通过ulimit -u value来修改这个值
max_map_count
在这个过程中不乏有 mallo c的操作,底层是通过系统调用 brk 来实现的,或者上面提到的栈是通过 mmap 来分配的,不管是 malloc 还是 mmap,在底层都会有类似的判断。
如果进程被分配的内存段超过sysctl_max_map_count就会失败,而这个值在 linux 下对应/proc/sys/vm/max_map_count,默认值是 65530,可以通过修改上面的文件来改变这个阈值
max_threads
还存在max_threads的限制,代码如下:
如果要修改或者查看可以通过/proc/sys/kernel/threads-max来操作, 这个值是受到物理内存的限制,在fork_init的时候就计算好了。
pid_max
pid 也存在限制
而alloc_pid的定义如下
在alloc_pidmap中会判断pid_max,而这个值的定义如下
这个值可以通过 /proc/sys/kernel/pid_max来查看或者修改
总结
通过对 JVM,glibc,Linux kernel 的源码分析,我们暂时得出了一些影响线程创建的因素,包括
- JVM:Xmx,Xss,MaxPermSize,MaxDirectMemorySize,ReservedCodeCacheSize 等
- Kernel:max_user_processes,max_map_count,max_threads,pid_max 等
由于对 kernel 的源码研读时间有限,不一定总结完整,大家可以补充。
转自: club.perfma.com by 你假笨
原?文?链接:
https://club.perfma.com/article/244079?hmsr=toutiao.io&source=toutiao&utm_medium=toutiao.io&utm_source=toutiao.io
- 上一篇:进程和线程的创建和撤销
- 下一篇:深入解读-全流程分析Netty设计思路与实践
相关推荐
- CTO偷偷传我的系统性能优化十大绝招(万字干货)
-
上篇引言:取与舍软件设计开发某种意义上是“取”与“舍”的艺术。关于性能方面,就像建筑设计成抗震9度需要额外的成本一样,高性能软件系统也意味着更高的实现成本,有时候与其他质量属性甚至会冲突,比如安全性、...
- 提升效率!VMware虚拟机性能优化十大实用技巧
-
我40岁,干跨境婚恋中介的。为服务各国用户,常得弄英语、日语、俄语系统环境,VMware虚拟机帮了不少忙。用久了发现优化下性能,效率能更高。今儿就来聊聊优化技巧和同类软件。一、VMware虚拟...
- 低延迟场景下的性能优化实践
-
本文摘录自「全球C++及系统软件技术大会」ScottMeyers曾说到过,如果你不在乎性能,为什么要在C++这里,而不去隔壁的Pythonroom呢?今天我们就从“低延迟的概述”、“低延迟系...
- Linux性能调优之内存负载调优的一些笔记
-
写在前面整理一些Linux内存调优的笔记,分享给小伙伴博文没有涉及的Demo,理论方法偏多,可以用作内存调优入门博文内容涉及:Linux内存管理的基本理论寻找内存泄露的进程内存交换空间调优不同方式的...
- 优化性能套路:带你战胜这只后段程序员的拦路虎
-
来源|极客时间《卖桃者说》作者|池建强编辑|成敏你好,这里是卖桃者说。今天给大家推荐一篇文章,来自倪朋飞老师的专栏《Linux性能优化实战》,文章主要讲的是优化性能的套路,这几乎是每个后端程序员...
- SK海力士CXL优化解决方案已成功搭载于Linux:带宽提升30%,性能提升12%以上
-
SK海力士宣布,已将用于优化CXL(ComputeExpressLink)存储器运行的自研软件异构存储器软件开发套件(HMSDK)中主要功能成功搭载于全球最大的开源操作系统Linux上,不但提升了...
- Linux内核优化:提升系统性能的秘诀
-
Linux内核优化:提升系统性能的艺术在深入Linux内核优化的世界之前,让我们先来理解一下内核优化的重要性。Linux内核是操作系统的核心,负责管理系统资源和控制硬件。一个经过精心优化的内核可以显著...
- Linux系统性能优化:七个实战经验
-
Linux系统的性能是指操作系统完成任务的有效性、稳定性和响应速度。Linux系统管理员可能经常会遇到系统不稳定、响应速度慢等问题,例如在Linux上搭建了一个web服务,经常出现网页无法打开、打开速...
- 腾讯面试:linux内存性能优化总结
-
【1】内存映射Linux内核给每个进程都提供了一个独立且连续的虚拟地址空间,以便进程可以方便地访问虚拟内存;虚拟地址空间的内部又被分为内核空间和用户空间两部分,不同字长的处理器,地址空间的范围也不同...
- Linux文件系统性能调优《参数优化详解》
-
由于各种的I/O负载情形各异,Linux系统中文件系统的缺省配置一般来说都比较中庸,强调普遍适用性。然而在特定应用下,这种配置往往在I/O性能方面不能达到最优。因此,如果应用对I/O性能要求较高,除...
- Nginx 性能优化(吐血总结)
-
一、性能优化考虑点当我需要进行性能优化时,说明我们服务器无法满足日益增长的业务。性能优化是一个比较大的课题,需要从以下几个方面进行探讨当前系统结构瓶颈了解业务模式性能与安全1、当前系统结构瓶颈首先需要...
- Linux问题分析与性能优化
-
排查顺序整体情况:top/htop/atop命令查看进程/线程、CPU、内存使用情况,CPU使用情况;dstat2查看CPU、磁盘IO、网络IO、换页、中断、切换,系统I/O状态;vmstat2查...
- 大神级产品:手机装 Linux 运行 Docker 如此简单
-
本内容来源于@什么值得买APP,观点仅代表作者本人|作者:灵昱Termux作为一个强大的Android终端模拟器,能够运行多种Linux环境。然而,直接在Termux上运行Docker并不可行,需要...
- 新手必须掌握的Linux命令
-
Shell就是终端程序的统称,它充当了人与内核(硬件)之间的翻译官,用户把一些命令“告诉”终端程序,它就会调用相应的程序服务去完成某些工作。现在包括红帽系统在内的许多主流Linux系统默认使用的终端是...
- Linux 系统常用的 30 个系统环境变量全解析
-
在Linux系统中,环境变量起着至关重要的作用,它们犹如隐藏在系统背后的“魔法指令”,掌控着诸多程序的运行路径、配置信息等关键要素。尤其在shell脚本编写时,巧妙运用环境变量,能让脚本如虎...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- oracle忘记用户名密码 (59)
- oracle11gr2安装教程 (55)
- mybatis调用oracle存储过程 (67)
- oracle spool的用法 (57)
- oracle asm 磁盘管理 (67)
- 前端 设计模式 (64)
- 前端面试vue (56)
- linux格式化 (55)
- linux图形界面 (62)
- linux文件压缩 (75)
- Linux设置权限 (53)
- linux服务器配置 (62)
- mysql安装linux (71)
- linux启动命令 (59)
- 查看linux磁盘 (72)
- linux用户组 (74)
- linux多线程 (70)
- linux设备驱动 (53)
- linux自启动 (59)
- linux网络命令 (55)
- linux传文件 (60)
- linux打包文件 (58)
- linux查看数据库 (61)
- linux获取ip (64)
- linux进程通信 (63)