一次JAVA项目撑爆服务器CPU、内存的事故回忆

之前使用springBoot做过一个运维项目，逻辑很简单，使用线程池持续抓取数据放入ArrayList中，放入线程池中，线程中按照设备id使用HashMap分组，然后监控目标各项数据，开发时使用单元测试没什么问题，放到测试服务器...

之前使用springBoot做过一个运维项目，逻辑很简单，使用线程池持续抓取数据放入ArrayList中，放入线程池中，线程中按照设备id使用HashMap分组，然后监控目标各项数据，开发时使用单元测试没什么问题，放到测试服务器上，每次开始都很正常，运行半个小时CPU和内存会突然暴增到100%，然后JVM堆栈内存溢出。连续好几次都是这样，开始以为是锁加的位置不对，优化代码，优化锁，结果还是没有好转。后来部门经理过来查出了病因：半个小时候的时候 抓取的数据会突然从几百增长至一万，而我使用的ArrayList去接收数据，然后使用HashMap进行分组，数据量小的时候没什么问题。数据量大的时候我因为初始化ArrayList、HashMap时没有指定大小，使用了默认的10个大小和默认的0.75的扩充因子，而ArrayList扩充时是会创建新的数组，复制之前的数据过来继续添加数据，因为数据量的突然增长，这里消耗时间会变长，并且因为线程中使用不安全的HashMap默认大小为10的，在频繁扩展中然后在线程中出现了死链，从而造成CPU、内存暴增。知道问题后所以当时首先将hashMap改为线程安全map,同时给ArrayList，Map初始化时指定了合适的大小，再运行时问题解决