|
|
目录1 W% Y5 w* N, a( }! A' K
4 V" k$ h% K( o, N2 @
; G7 R$ Z9 @# _' I$ e- 一、需求背景+ Q1 L# g0 E2 }; i1 `
- 二、没错,第一节写的太多了
2 T, K# T E9 ? - 三、开始写代码了
L& G" a" @& T" f( L/ \9 L - 四、真的要贴代码了* C" J; X, ?" A" r/ b9 u& C, J6 J
- 五、差点忘记做成DLL了7 a8 _; _3 C; T" k) V4 g( `
- 六、因为跨线程、进程,所以要考虑加入互斥量哦6 ^1 d# ?. r# Y
/ O& e# k! v- w! `0 W一、需求背景1 u! F+ p8 ? X1 e
- L7 ~' I( e0 k/ o" |! `" @8 U( h1、最近项目要求高频次地读写数据,数据量也不是很大,多表总共加起来在百万条上下。$ ~6 h4 S6 Z5 ?: o7 f* Q5 @; D
单表最大的也在25万左右,历史数据表因为不涉及所以不用考虑," C0 X+ M- E# E' {/ E ~
难点在于这个规模的热点数据,变化非常频繁。
2 v+ ^# }5 K6 V0 V9 I# t# Q数据来源于一些检测设备的采集数据,一些大表,有可能在极短时间内(如几秒钟)可能大部分都会变化,
$ U2 J9 y$ d1 ]8 g而且主程序也有一些后台服务需要不断轮询、读写某种类型的设备,所以要求信息交互时间尽可能短。; B A4 f. r) o
2、之前的解决方案是把所有热点数据,统一加载到共享内存里边,到也能够支撑的住(毫秒级的),但是由于系统架构升级,之前的程序(20年前的)不能兼容。
* f8 ?7 W0 l9 h只能重新写一个,最先想到的是用redis,当时把所有API重写完成后,测试发现效率不行,是的,你没有看错,redis也是有使用范围的。
% A/ \6 N$ f* {7 _3、redis读写非常快,但是对于大批量读写操作我觉得支持不够,虽然redis支持批量读写,但是效率还是不够快,: D7 }2 U: l* R( h* b8 n& f
对于字符串(string)类型的批量读写,我测试过;效率比较好的在每批次200 至 250条之间,处理20万条数据耗时5秒左右, (PC机,8G,4核)
# X# t) r7 h. ?! f# _" ]而对于有序集合(sorted set)类型,批量写的操作用起来非常别扭,而且没有修改API(如有其他方式请指教),我测试过,效率没string类型那么高
+ p- y6 n* ^& U0 u7 s其他类型不适合我的业务场景,就没考虑使用了
' X" q; {1 U5 A& k2 z4、所以项目组最后决定还是用回共享内存,先决定在.net环境下使用c#的共享内存,这个功能可能使用的人不多,其实在.net4.0版本就已经集成进来了! n6 _7 `4 g6 O. M
在System.IO.MemoryMappedFile命名空间下。这个类库让人很无语,因为里边能用的只有Write、Read这2种方法,而且只是针对字节的操作,/ r3 P( ]! R6 n( P# A
需要非常多的类型转换,非常麻烦!想想,只能以字节为单位去构建一个需要存放百万级数据的内存数据库,得多麻烦?
4 W5 @3 n, d& c$ C需要手动搞定索引功能,因为要支持各种查询,最后花了一天的时间写完DEMO,最后测试后发现效率并没有很大提高,因为当时加了互斥量测试,
6 Y7 r7 m [! ]% b8 w y5 `, ?但是离毫秒级差得远。这个技术点有兴趣的可以了解下,园子里有,如:https://www.cnblogs.com/zeroone/archive/2012/04/18/2454776.html( @% z' I( B6 v: N8 q/ H+ J
- d, g& E" P; ^& v$ \) n
二、没错,第一节写的太多了5 { V& g5 z1 {$ h5 e6 b
$ w* M& d u* M
1、最后分析,这应该是c#语言的瓶颈,c#对于这种骚操作是不那么成熟的。) ^! z3 T+ h% @# d3 ^' O M
2、最后瞄来瞄去,决定使用VC开发一个dll,在里边封装对内存数据的读写功能,然后c#调用3 Z* G& z- i: C$ T- t
3、本人的C、C++不那么熟、参考了一些实例,比如园子里的:http://www.cnblogs.com/cwbcwb505/archive/2008/12/08/1350505.html
8 i1 T" V; q0 B D4、是的,你没有看错,2008年的,我还看到一篇更早的,看来底层开发C、C++那么经久不衰不是没有道理的,很多技术现在都在用
2 e# l5 X+ U) E0 O, D) i5、看看什么是共享内存
, H) p) z' d( t0 _3 r" h5 _, u9 @2 ?0 B4 P0 |
+ [. l% n" D' g0 ^* O
三、开始写代码了# D: Z8 N0 J9 B- r4 N% w) |
: l. s" M, r2 f! z1、首先建2个控制台项目,支持MFC,) A1 v b* E) O7 Y9 V0 d! ?
2、先这样:一个负责创建共享内存,初始化数据# U2 Z& T2 C R- V1 a
3、再这样:一个读写数据测试,最后修改
! G4 C; \* K" Z" T3 I# ~4、最后修改下图片细节,测试一下,看看效果+ V' t9 M- O. F# `% \! x: F
# r$ f8 L# \% Z( a8 T; t/ l
- F9 `: Q; F6 w! P
5、完成了,see, 是不是很简单呀?都会了吗?
0 B# @7 [! u! n+ V6 y; a8 f" q, {- ~8 Z
' H+ W6 P$ x: I, X c四、真的要贴代码了. C, h h' k3 J5 t" l
# C, d' u0 L, b8 `! d+ [' l1 W$ H
1、先定义个枚举返回状态- typedef enum{ Success = 0, AlreadyExists = 1, Error = 2, OverSize = 3}enumMemory;
复制代码 2、再定义个结构体用来测试- typedef struct{ int TagID; char TagName[32]; int Area; double EngVal; double UpdateTime; double RawMax; double RawMin; double RawVal; char Name[50]; char Al; double ASTime; char MaskState; double AMTime; char Cf; char Tdf; char AlarmCode[32];}TENG;
复制代码 3、开始创建共享内存- int Create(UINT size) { // Data HANDLE fileMap = CreateFileMapping(INVALID_HANDLE_VALUE, NULL, PAGE_READWRITE, 0, size, “Name”); if (fileMap == NULL || fileMap == INVALID_HANDLE_VALUE) return Error; if (GetLastError() == ERROR_ALREADY_EXISTS) return AlreadyExists; // init void *mapView = MapViewOfFile(fileMap, FILE_MAP_WRITE, 0, 0, size); if (mapView == NULL) return Error; else memset(mapView, 0, size); return Success; }
复制代码 4、再开始写数据- int Write(void *pDate, UINT nSize, UINT offset) { // open HANDLE fileMap = OpenFileMapping(FILE_MAP_WRITE, FALSE, “Name”); if (fileMap == NULL) return Error; // hander void *mapView = MapViewOfFile(fileMap, FILE_MAP_WRITE, 0, 0, nSize); if (mapView == NULL) return Error; else WriteDataPtr = mapView; // write memcpy(mapView, pDate, nSize); UnmapViewOfFile(pMapView); return Success; }
复制代码 5、开始读数据- int Read(void *pData, UINT nSize, UINT offset) { // open HANDLE fileMap = OpenFileMapping(FILE_MAP_READ, FALSE, GetTableName()); if (fileMap == NULL) return Error; // hander void *pMapView = MapViewOfFile(fileMap, FILE_MAP_READ, 0, 0, nSize); if (pMapView == NULL) return Error; else ReadDataPtr = pMapView; memcpy(pData, (pMapView, nSize); UnmapViewOfFile(pMapView); return Success; }
复制代码 6、OK了,不复杂,网上都有这些资料,最后我们贴上测试程序- int _tmain(int argc, TCHAR* argv[], TCHAR* envp[]){ int length = 100000; CEng * ceng = new CEng(); DWORD dwStart = GetTickCount(); for (int i = 0; i < length; i++) { TENG eng; ceng->Read(&eng, ceng->size, ceng->size * i); eng.EngVal = i; ceng->Write(&eng, ceng->size, (i*ceng->size)); if (i % 10000 == 0 || i == length - 1) printf("正在读写的Eng.TagName:%s \n", eng.TagName); } printf("总条数%d,耗时:%d 毫秒 \n", length, GetTickCount() - dwStart); // 验证数据 TENG eng5000; ceng->Read(&eng5000, ceng->size, ceng->size * 5000); printf("\n验证数据 \n"); printf("第5000个Eng的TagID:%d, EngVal:%lf \n", eng5000.TagID, eng5000.EngVal); scanf_s("按任意键结束"); return 0;}
复制代码 7、还有写测试程序- int _tmain(int argc, TCHAR* argv[], TCHAR* envp[]){ int length = 100000; CEng * ceng = new CEng(); ceng->Create(ceng->size * length); DWORD dwStart = GetTickCount(); for (int i = 0; i < length; i++) { TENG eng; memset(&eng, 0, ceng->size); eng.TagID = i; sprintf_s(eng.AlarmCode, "AlarmCode.%d", i); sprintf_s(eng.TagName, "TagName.%d", i); if (i % 10000 == 0 || i == length - 1) printf("正在写入的Eng.TagName:%s \n", eng.TagName); ceng->Write(&eng, ceng->size, (i*ceng->size)); } // print time printf("写入数据完毕,总条数:%d\n", length); printf("初始化值共享内存区耗时:%d 毫秒 \n", GetTickCount() - dwStart); scanf_s("按任意键结束"); return 0;}
复制代码 8、当然得再贴一遍啦
; l2 U: o1 [$ j, y! n- ^
8 r2 p2 |& F$ s9 M. |. s
+ t$ q4 Y l. E% F# f: ]8 Z3 A9 e2 g+ P: N% A9 Y
五、差点忘记做成DLL了
9 h9 Y: a8 a; k7 o& F
: _7 f3 @% w1 F, A1、定义外部函数- extern "C" __declspec(dllexport) int ReadFromSharedMemory(TENG *pData, int nSize, int offset){ return ceng->Read(pData, nSize, offset);}extern "C" __declspec(dllexport) int WriteToSharedMemory(void *pData, int nSize, int offset){ return ceng->Write(pData, nSize, offset);}
复制代码 2、好了,VC到此为止,可以去领盒饭了,c#进场- public class Lib { [DllImport("ConsoleApplication4.dll", CallingConvention = CallingConvention.Cdecl)] public static extern int ReadFromSharedMemory(IntPtr pData, int nSize, int offset); [DllImport("ConsoleApplication4.dll", CallingConvention = CallingConvention.Cdecl)] public static extern int WriteToSharedMemory(IntPtr pData, int nSize, int offset); }
复制代码 3、c#测试一下- static void Main(string[] args) { var length = 100000; var startTime = DateTime.Now; var size = Marshal.SizeOf(typeof(TEng)); var intPtrOut = Marshal.AllocHGlobal(size); var intPtrIn = Marshal.AllocHGlobal(size); for (var i = 0; i < length; i++) { Lib.ReadFromSharedMemory(intPtrOut, size, size * i); var eng = Marshal.PtrToStructure(intPtrOut); eng.EngVal = i; Marshal.StructureToPtr(eng, intPtrIn, true); Lib.WriteToSharedMemory(intPtrIn, size, size * i); if (i % 10000 == 0) Console.WriteLine("eng.TagID:{0}", eng.TagID); } Console.WriteLine("总条数{0},耗时:{1} 毫秒", length.ToString(), (DateTime.Now - startTime).TotalMilliseconds.ToString()); // 验证数据 var intPtr100 = Marshal.AllocHGlobal(size); Lib.ReadFromSharedMemory(intPtr100, size, size * 100); var eng100 = Marshal.PtrToStructure(intPtr100); Console.WriteLine(); Console.WriteLine("验证数据"); Console.WriteLine("第100个Eng的TagID:{0},EngVal:{1}", eng100.TagID, eng100.EngVal); Console.ReadKey(); }
复制代码 3 r* m4 @% c1 x3 k; K
4、165毫秒,相比在VC下运行,差了一个数量级,但是,也不错了;, u+ {) G; @/ G. L7 ?4 Z
因为c#环境下需要不断的Marshal.PtrToStructure、Marshal.StructureToPtr,频繁地把数据在托管内存俞共享内存之间搬运
: Q! O' i+ M# t3 V. v是需要耗费时间的,这点有更好处理方式的请指教," y( W( p, k3 ~) D- D
" a4 b; B; M, \2 J. ?
六、因为跨线程、进程,所以要考虑加入互斥量哦% {" r1 T; A/ T1 v- [
$ n6 _& Z1 h! ^& x0 ~
1、很简单,MFC下有现成的类CMutex,加在Write里边在看看效率( m# h6 v& G$ E2 y
" S" ~0 Y0 b6 f1 }# l; y- Z' B3 o' G互斥量是需要耗费资源的,多了将进100毫秒
- M2 X! B4 ~+ u) U) E2、读写都加上互斥量试试看
: M4 \" H( h7 `6 H! {: ]& N" w2 r9 I& i
又多了80多毫秒,
- g8 `6 z8 q- K# I' F鱼与熊掌不可兼得啊。要根据实际运用场景觉得是否加上互斥量
; i+ I2 A, p9 o, ?9 g好了,人家51去游玩、我却宅家里码程序,可见我的趣味还是挺高的,洗澡、洗衣服、然后去吃饭、一天没进食了,3 w' Z" H* c" t0 B& z6 g4 E8 ~
以上就是.net环境下跨进程、高频率读写数据的详细内容,更多关于.net跨进程高频率读写数据的资料请关注脚本之家其它相关文章!
) ~: O6 C! r7 ~, P# p2 O3 y2 o" A$ R% |. J" L0 S2 M
来源:http://www.jb51.net/article/213616.htm3 w" ]8 t" W- _( o( f
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作! |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|